Skip to content

sqllab自定义后端数据库类型

栾鹏 edited this page Jun 25, 2024 · 1 revision

实现原理

用户提交sql,选定计算引擎,cube-studio根据选定的计算引擎和用户提交的sql,发起异步任务,正式的执行在worker中,结果保存在分布式存储csv中

要求: sqllab只能对接查询引擎,通过网络请求,发送sql,并不能作为driver端,无法监听端口。所以无法作为spark的driver端,只能对接clickhouse,presto,imapa等查询网关。

计算引擎参数配置

view_sqllab.py中sqllab_config 接口,表征了sqllab界面配配置参数,可以用于配置可用的计算引擎。

计算引擎对接

对接计算引擎需要实现对接中的 submit_task 提交sql查询任务 check_task 任务信息查询 get_result 获取任务结果 download_url 获取下载地址 stop 关闭任务几个功能

派生方法

派生Base_Impl类,实现具体计算引擎的实现逻辑

开源体验地址:

http://39.96.177.55:8888/

学习、部署、体验、咨询

Clone this wiki locally