本文主要介绍在DSS(DataSphere Studio)1.0中Prophecis AppConn的部署、配置以及使用。
安装appconn前,请准备以下物料:
- Prophecis Pod已正常Running,同时Helm Chart中关于DSS/Linkis相关服务配置正确;
- Appconn相关lib包(编译及下载参考本文第二部分)
- mlss-appconn
- mlflow-appconn
- 相关SQL脚本(位于sql目录)
- mlflow appconn:Prophecis MLFlows实验模块节点运行时使用的Appconn,实验模块的节点均需要通过appconn执行。
- mlss appconn:Prophecis Appconn,用户需在DSS使用Prophecis时需要安装该appconn。
Prophecis相关AppConn的物料包,如果您已经下载了,您可以跳过此步骤。如果您想自己编译Prophecis AppConn,具体编译步骤如下:
- 编译mlflow-appconn及mlss-appconn
cd ${Prophecis_Install_Dir}/appconn/mlflow-appconn/appconns/dss-mlflow-appconn
mvn clean install
cd ${Prophecis_Install_Dir}/appconn/mlflow-appconn/appconns/dss-mlss-appconn
mvn clean install
-
从target目录目录中获取到lib包及相关lib包打包为mlflow-appconn.zip及mlss-appconn.zip
-
将lib包放置到DSS的appconn目录下:
mkdir -p {DSS_HOME}/dss/dss-appconns/mlss-appconn/lib
mkdir -p {DSS_HOME}/dss/dss-appconns/mlflow-appconn/lib
cd {DSS_HOME}/dss/dss-appconns/mlss-appconn
unzip mlflow-appconn.zip
cd {DSS_HOME}/dss/dss-appconns/mlflow-appconn
unzip mlss-appconn.zip
- 数据脚本加载
source mlflow-appconn.sql;
source mlss-appconn.sql;
- 重启dss服务,完成插件的更新
您可以进入DSS的工作流页面,拖动Prophecis(mlss)节点进行构建。如图
双击后,可跳转到MLSS页面进行试验配置。
本小节是安装的延伸,是对Prophecis AppConn工作原理的简单讲解。
使用Prophecis AppConn的微服务:
DSS中有以下的微服务会通过Prophecis AppConn与Prophecis进行交互,完成指定的功能。
微服务名 | 使用AppConn完成的功能 | 备注 |
---|---|---|
dss-framework-project-server | 使用prophecis相关appconn完成工程以及组织的统一 | 必须 |
dss-workflow-server | 使用第三级规范完成节点的创建、编辑和导入导出等 | 必须 |
appconn-engine | 使用第三级规范,完成prophecis节点的执行 | 必须 |
Prophecis集成进入dss需要在以下数据库表中设置相应的内容
表名 | 表作用 | 备注 |
---|---|---|
dss_application | 应用表,主要是插入prophecis应用的基本信息 | 必须 |
dss_menu | 菜单表,存储对外展示的内容,如图标、名称等 | 必须 |
dss_onestop_menu_application | menu和application的关联表,用于联合查找 | 必须 |
dss_appconn | appconn的基本信息,用于加载appconn | 必须 |
dss_appconn_instance | prophecis实例的信息,包括prophecis自身的url信息 | 必须 |
dss_workflow_node | Prophecis作为工作流节点需要插入的信息 | 必须 |