ML SQL 2.1.0 安装配置
一、准备
下载地址：http://download.mlsql.tech/
例如：mlsql-engine_2.4-2.1.0-SNAPSHOT.tar.gz
2.4以及3.0 都表示依赖的Spark版本
2.1.0 表示MLSQL Engine的自身的版本
二、mlsql-console配置
1、解压
tar -zxvf mlsql-console-2.1.0-SNAPSHOT.tar.gz -C /opt/moudle/
tar -zxvf mlsql-engine_2.4-2.1.0-SNAPSHOT.tar.gz -C /opt/moudle/
mv mlsql-console-2.1.0-SNAPSHOT mlsql-console
mv mlsql-engine_2.4-2.1.0-SNAPSHOT.tar.gz mlsql-engine
2、数据库配置
首先创建数据库，假设你数据库名称为 mlsql-console， 使用该目录下的 console-db.sql 文件进行表创建
vim console-db.sql
查找 app_kv 表
修改：name varchar(256) DEFAULT NULL,
为 name varchar(255) DEFAULT NULL,
执行建表语句
mysql> source console-db.sql
修改application.docker.yml中标记有 MYSQL_HOST 字样的部分，修改连接地址，账号密码。
vim application.docker.yml
2、修改start-default.sh
在start-default.sh中有个MY_URL，请将127.0.0.1转换成你的实际机器IP（内网）。如果你要修改端口，你需要同时修改application.docker.yml以及start-default.sh 中的MY_URL的端口。
3、启动服务
现在可以运行 ./start-default.sh 启动MLSQL Console了。默认端口为9002.
三、mlsql-engine配置
1、进入目录
cd mlsql-engine/
2、Local部署
export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark && ./start-default.sh
3、Yarn部署
将Hadoop的配置文件，如core-site.xml,hdfs.xml,hive.xml等文件放到SPARK_HOME/conf目录里
修改Engine的start-local.sh
找到文件里如下代码片段：
$SPARK_HOME/bin/spark-submit --class streaming.core.StreamingApp
–driver-memory ${DRIVER_MEMORY}
–jars ${JARS}
–master local[*]
–name mlsql
–conf “spark.sql.hive.thriftServer.singleSession=true” \
将–master的local[*] 换成 yarn-client, 然后添加excuctor配置,最后大概如下面的样子：
$SPARK_HOME/bin/spark-submit --class streaming.core.StreamingApp
–driver-memory ${DRIVER_MEMORY}
–jars ${JARS}
–master yarn
–deploy-mode client
–executor-memory 4g
–executor-cores 1
–num-executors 1
–name mlsql
–conf “spark.sql.hive.thriftServer.singleSession=true” \
然后指定SPARK_HOME运行即可。
四、访问 http://127.0.0.1:9002
1、设置用户密码
2、添加计算引擎 MLSQL Engine
