Kubeflow:云计算和机器学习的桥梁
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

4.3 Kubeflow 端到端的用户案例

上一节我们讲解了Kubeflow 的用户故事,本节我们运行一个Kubeflow 端到端的用户案例,并且讲解Kubeflow 中的关键组件。

需要特别说明的是,本节的目标只是使读者对Kubeflow 端到端的用户案例和关键组件有一个大致的了解,一些概念将在后面的章节详细讲解。运行Kubeflow 端到端的用户案例的步骤如下。

第一步,使用Jupyter Notebook 定义一个端到端的机器学习案例。

本节为了展示方便,只定义了超参调优、模型训练、服务发布共3 个主要环节。创建Jupyter Notebook 可以分为3 步,具体如下。

(1)安装并导入所需的Python 库。

img

(2)定义Pipelines,分为3 步,代码如下:

img
img
img
img
img
img
img

(3)将Pipelines 提交到Kubernetes 集群中运行。

img

第二步,通过浏览器访问Kubeflow 用户界面,如图4-2 所示。

img

图4-2 Kubeflow 用户界面

第三步,使用Notebook Servers Tab 创建一个Jupyter Notebook Server(在本案例中,Notebook 的镜像是gcr.io/kubeflow-images-public/tensorflow-1.14.0-notebook-cpu:v0.7.0),如图4-3 所示。

img

图4-3 创建Jupyter Notebook Server

第四步,访问并下载GitHub 的kubeflow/pipelines/samples/contrib/e2e-mnist/目录下的Notebook File 和测试图像,并且将Notebook File 上传到Kubeflow Jupyter Notebook Server上,如图4-4 所示。

img

图4-4 上传Notebook File

第五步,运行Notebook File,创建一个端到端的MNIST Pipelines,该Pipelines 包括使用Katib 进行超参调优,使用TFJob 进行模型训练,以及使用KFServing 发布服务等。

第六步,在运行Pipelines 时,可以通过单击run link 超链接查看Pipelines 的运行状态,如图4-5 所示。

img

图4-5 Pipelines 的运行状态

第七步,在Pipelines 运行完成后,在所有步骤中都会有一个绿色的图标。在Kubeflow Dashboard 中选择Katib → HP → Monitor tab 命令,可以查看使用Katib 进行超参调优的结果,如图4-6 所示。

img

图4-6 使用Katib 进行超参调优的结果