在 Watson Studio 上部署 Python Notebook

部署复杂机器学习模型(例如,Tensorflow)的挑战在于,这些模型的计算成本非常高,而且训练起来非常耗时。一些解决方案包括 GPU 加速、分布式计算或结合使用这两者。IBM Cloud 同时提供这两种解决方案。在本教程中,您将在IBM Watson Studio(Watson Studio) 上部署深度神经网络(使用 Tensorflow),加快模型训练过程。借助 Watson Studio,您可以利用云端计算能力加快更复杂机器学习模型的训练速度,从而将时间从几小时或几天缩短至几分钟。

  • Tensorflow: TensorFlow 是一个使用数据流程图进行数值计算的开源软件库。TensorFlow 为开发者提供了开发复杂深度神经网络和其他机器学习模型所需的工具。使用 TensorFlow 构建深度神经网络需要大量的计算能力,因此使用 Watson Studio 之后,应该能够将训练时间从几小时缩短到几分钟。有关 Tensorflow 的更多信息可以在其网站上查看。
  • Watson Studio: IBM 的 Watson Studio 是一个数据科学平台,提供在云端开发以数据为中心的解决方案所需的全部工具。它利用 Apache Spark 集群提供开发复杂机器学习模型所需的计算能力。您可以选择在 Python、Scala 和 R 中创建资产,并利用 Watson Studio 中已经安装的开源框架(如 TensorFlow)。

学习目标

本教程的目标是在 IBM 的 Watson Studio 上导入并运行用 Python 编写的 Jupyter Notebook,并在此过程中展示 Watson Studio 为缩短使用 Tensorflow 构建的神经网络的训练时间而提供的价值。通过 Watson Studio,您将利用 Apache Spark 的分布式计算能力,并在 Python 中部署计算复杂的神经网络。我们首先注册 Watson Studio,在 Watson Studio 中创建一个新项目,导入 Notebook,最后运行该 Notebook。

前提条件

在开始之前,我们必须创建一个新的IBM Cloud 账户(如果还没有的话)。此外,我们还必须注册IBM Watson Studio。这使我们能够访问基于云的交互式协作环境。

  1. 在 Web 浏览器中,导航至 https://datascience.ibm.com。
  2. 单击右上方的 Sign Up 。

  3. 单击 Sign in with your IBM id ,然后输入您的 IBM Cloud 凭证。

  4. 按照说明完成 IBM Watson Studio 注册过程。启用 Get Started 按钮后,单击此按钮,您应该被定向到 Watson Studio 仪表板,如下所示。

预计花费时间

本教程大约需要一个小时才能完成。

步骤

我们将首先导航到 IBM 的 Watson Studio 来创建一个新项目;然后将一个 Notebook 导入该项目;运行包含 Tensorflow 示例的 Notebook;最后重点介绍几个后续步骤。

创建一个新项目

  1. 单击 Projects 选项卡以查看项目列表。您应该只看到一个默认项目。

  2. 单击项目列表右上角的创建项目图标。

  3. 输入项目的名称,例如“ML Model”。按照屏幕上的指示创建一个新的 Spark 服务和对象存储服务。容器是用于对象存储的对象的集合。单击 Create 创建新项目。创建后,您将被定向到新项目,您可以在此创建 Notebook,导入数据资产或添加协作者。

创建一个新 Notebook

  1. 在新创建的项目仪表板中,单击 Add to project 选项并选择 Notebook 。

  2. 您可以创建新的空白 Notebook,也可以指定从文件或已知 URL 导入现有 Notebook。在这种情况下,我们将选择后者。选择 From URL 选项,并将 https://github.com/aounlutfi/building-first-ML-model/blob/master/Complete.ipynb 指定为 Notebook 的 URL。现在单击 Create Notebook 开始导入。

运行 Notebook

  1. 要运行 Notebook,可单击 Commands 功能区中的 Cell ,然后单击 Run all cells 。Watson Studio 随后将运行 Notebook 中的所有代码片段。数据集由 20,000 张图像组成,所以运行该 Notebook 大约需要 15 分钟。

您也可以通过从菜单中选择 Play 图标来运行单个单元,如下突出显示。

后续步骤

Watson Studio 不仅仅是一个开发平台。它也是一个社区驱动的协作平台。借助 Watson Studio,您可以与其他用户共享项目,并就特定 Notebook 展开协作。您还可以从社区创建的内容中获益,其中包括免费的 Notebook 和数据集。可参阅下图,了解如何将协作者添加到项目中。

结束语

完成上述步骤后,您就可以在 Watson Studio 上部署来自其他框架的模型,例如 Sklearn 和 Spark MLLib 。然后,您可以尝试在个人计算机上设置 Python 和 Tensorflow,并运行 Tensorflow 提供的示例以比较结果。根据您机器的性能,可能需要数小时甚至数天才能完成训练。

猜你喜欢

转载自blog.csdn.net/c710473510/article/details/89355268