Deploying a Model Version

Note

As the English version of the document is being updated, some of the content here might be inconsistent with the actual product or feature that you are using. Bear with us until we bring you the updated documentation in September, 2020.


完成模型创建和注册后,可将模型的第一个版本部署到指定资源池中运行。

在上架模型版本时,你可以选择通过多种方式将从模型开发实验室中开发的模型,或将在本机上开发的模型,通过构建形成可用于托管的模型镜像文件。

上架版本

通过以下步骤,上架模型的第一个版本:

  1. 打开模型列表页,选择已注册的模型,打开 模型版本管理 页面。
  2. 点击 版本上架,然后按照指引依次完成版本配置、模型构建、参数设置、和测试上架版本。
../_images/deploy_version.png

配置版本信息

  1. 在版本配置页面的 版本信息 一栏中,完成版本的基本信息配置:

    • 版本规则:选择版本的命名规则,目前支持按上架版本时的系统时间戳命名版本
    • 架构基础:选择运行模型版本的基础硬件
    • 计算框架:选择运行模型版本的计算框架
    • 语言环境:选择开发模型版本的语言(与选择的计算框架相匹配)
    • 发布者:输入发布模型版本的用户名称,默认为当前EnOS用户名称
    • 描述:输入对模型版本的简要描述
    ../_images/version_basic.png
  2. 在版本配置页面的 模型构建 一栏中,选择构建模型的方式,并完成对应的模型文件上传配置。

  3. 如选择 ML flow导入,系统将在开发实验室的训练任务中找到生成的Artifacts文件,通过ML flow的流程导入模型并生成推理服务。

    • Fall Path 输入框中输入模型文件的路径
    • 或点击输入框旁的图标,在弹窗中选择模型文件所在的文件夹
    ../_images/ml_flow.png
  4. 如选择 容器镜像文件导入,系统将自动指定文件夹所在位置,你可以从Artifacts源和Git源的多个层级目录中选择构建模型需要的目标文件。部署模型时,系统将使用指定的镜像部署成推理服务。

    • 点击 Artifacts源Git源,选择部署模型的镜像文件(可在两个源上反复多次操作选择文件)
    • 在已选择的文件列表中,查看文件详细信息,移除不需要的文件
    • Entry Point 下拉菜单中,选择 Dockerfile
    ../_images/docker_file.png
  5. 如选择 Seldon core方式导入,可使用s2i build从源代码创建Docker镜像。系统将自动指定文件夹所在位置,你可以从Artifacts源和Git源的多个层级目录中选择构建模型需要的目标文件。部署模型时,系统将使用指定的镜像部署成推理服务。

    • 点击 Artifacts源Git源,选择部署模型的镜像文件(可在两个源上反复多次操作选择文件)
    • 在已选择的文件列表中,查看文件详细信息,移除不需要的文件
    • Entry Point 下拉菜单中,选择入口文件。
    ../_images/seldon_core.png
  6. 如选择 自定义第三方导入,可在第三方自定义的系统上将模型打包成为Docker镜像文件,然后导入。

    • 目前支持在线访问的文件加载方式,在 地址 输入框中,输入获取模型文件的地址。
    ../_images/customized.png
  7. 完成模型文件上传配置后,点击 下一步,系统将自动开始模型构建。

构建模型

构建日志 页面,查看模型的构建过程。构建日志将实时显示模型的构建过程,并记录构建耗费的时间。

若模型构建失败,可通过查看日志,定位失败的原因后,点击 上一步 修改配置。

模型构建成功后,可点击 下一步 完成参数设置。

../_images/build_model.png

设置模型参数(可选)

通过参数设置,可配置模型的定制参数,为非必填项,模型版本可以不设置参数。

测试上架模型

根据新建模型时设置的数据输入输出参数,写入测试脚本,可测试模型版本是否能正常工作。

  1. 参数输入 框中,写入测试脚本,点击 发起测试

    ../_images/test_version.png
  2. 返回结果 框中,查看模型版本的测试结果。

    ../_images/test_result.png
  3. 测试通过后,点击 完成,将模型版本发布上架。

    ../_images/deployed_version.png
  4. 返回 模型版本管理 页面,查看已部署上架的模型版本。此时模型版本的状态为 候选,完成检查后,可将模型版本发布上线。

    ../_images/version_list.png

下一步

完成模型版本上架后,可将版本部署上线,进入生产状态。详细信息,参考 部署上线模型版本