一、采用封装好的包,在windows下进行ds搭建
1、下载dolphinscheduler安装包用的是1.3.2
2、下载zk安装包
3、使用bandizip解压
4、创建mysql本地数据库
5、需要修改dolphinscheduler-dao 一个jar包下的的datasource.properties 文件,修改为如下内容
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/dolphinscheduler
spring.datasource.username=root
spring.datasource.password=root
6、解压zk
解压后进入apache-zookeeper-3.6.1-bin\conf ,把zoo_sample.cfg 重命名为zoo.cfg ,再编辑zoo.cfg ,修改如下两个参数:
dataDir=D:\\\zookeeper\\apache-zookeeper-3.8.0-bin\\data
dataLogDir=D:\\\zookeeper\\apache-zookeeper-3.8.0-bin\\logs
7、在bin目录下启动zk,找到zkServer.cmd,并启动
8、把jdbc驱动包拷贝到lib目录下、mysql-connector-java-5.1.47.jar,本地的maven仓库应该是有相应的包的
或者手动执行相应的sql文件(有一个sql文件夹,找到mysql 的)
9、执行mysql初始化的时候报错(Specified key was too long; max key length is 767 bytes)
cd apache-dolphinscheduler-incubating-1.3.0-dolphinscheduler-bin java -classpath lib/* org.apache.dolphinscheduler.dao.upgrade.shell.CreateDolphinScheduler
如果报错就执行下面的语句
cmd先执行mysql -uroot -p,进入到你的mysql中去
mysql -uroot -p
mysql> set global innodb_file_format = BARRACUDA;
Query OK, 0 rows affected (0.00 sec)
mysql> set global innodb_large_prefix = ON;
Query OK, 0 rows affected (0.00 sec)
10、起5个cmd窗口,以下所有命令在apache-dolphinscheduler-incubating-1.3.0-dolphinscheduler-bin下执行
启动master
java -classpath lib/* org.apache.dolphinscheduler.server.master.MasterServer
启动worker
java -classpath lib/* org.apache.dolphinscheduler.server.worker.WorkerServer
启动api server
java -classpath lib/* org.apache.dolphinscheduler.api.ApiApplicationServer --spring.config.name=application-api
启动log server
java -classpath lib/* org.apache.dolphinscheduler.server.log.LoggerServer 启动alert server
java -classpath lib/* org.apache.dolphinscheduler.alert.AlertServer 5个服务都已启动成功
11、查看zookeeper中是否已经执行了dolphinscheduler
执行zkcli.cmd
运行
[zk: localhost:2181(CONNECTED) 0] ls /dolphinscheduler
[lock, dead-servers, nodes]
[zk: localhost:2181(CONNECTED) 1] ls /dolphinscheduler/nodes
[worker, master]
二、采用源代码的方式
参考:https://blog.csdn.net/lijie0213/article/details/123647923?spm=1001.2014.3001.5501
1、安装zookeeper
1、下载zk,并解压
2、解压zk
解压后进入zookeeper-3.4.6\conf ,先备份zoo_sample.cfg,把zoo_sample.cfg 重命名为zoo.cfg ,再编辑zoo.cfg ,修改如下两个参数:
dataDir=D:\\\zookeeper3.4.6\\zookeeper-3.4.6\\data
dataLogDir=D:\\\zookeeper3.4.6\\zookeeper-3.4.6\\log
3、在bin中先运行 zkServer.cmd,然后运行zkCli.cmd 查看zk运行状态,可以查看zk节点信息即代表安装成功。(最后启动的时候记得启动 zkServer.sh )
运行zkCli.cmd,查看zk启动状态
2、搭建后端环境
1、下载源码
官网 :https://dolphinscheduler.apache.org/zh-cn/index.html
地址 :https://github.com/apache/dolphinscheduler.git
这里选用 1.3.6-release 分支。
导入idea中
搭建数据库(项目中默认是pgsql,如果选择pgsql择无需以下数据库配置,咱们这里已mysql为列) —>1:本地mysql数据库创建 这里为:
—>2:修改 dolphinscheduler-dao 模块的 datasource.properties(注释掉pgsql,放开mysql并修改成自己的mysql数据库)
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/dolphinSchedulerOld?useUnicode=true&characterEncoding=UTF-8
spring.datasource.username=root
spring.datasource.password=root
—>3:修改根项目中 pom.xml,将 mysql-connector-java 依赖的 text 修改为 compile
—>4:刷新 dao 模块,运行org.apache.dolphinscheduler.dao.upgrade.shell.CreateDolphinScheduler 的 main 方法,自动插入项目所需的表和数据
备注:控制台会有执行语句打印,执行完成去本地数据库查看表是否生成。
我这里是执行失败了,网上说啥的都有,仔细看了一下,我发现了一个问题,我的密码后面是有一个空格的,导致密码匹配不上,
或者找到了这个sql文件,手动去数据库里面执行的,这种方式的话,是肯定要连接数据库的,所以说,你必须要解决上面的问题
报了:
手动执行sql脚本:
执行生成相应的表:
3、查看zookeeper配置,是否正确
4.修改日志控制层输出,在logback-worker.xml、logback-master.xml、logback-api.xml中添加控制台输出
<appender-ref ref="STDOUT"/>
添加相关的配置
5.设置MasterServer,WorkerServer以及ApiApplicationServer文件运行的Application —>1:MasterServer,WorkerServer以及ApiApplicationServer文件位置
启动类配置2:
配置启动类:
配置master 的
配置api 的
配置worker的
设置 VM Options:
MaseterServer:
-Dlogging.config=classpath:logback-master.xml -Ddruid.mysql.usePingMethod=false
WorkerServer:
-Dlogging.config=classpath:logback-worker.xml -Ddruid.mysql.usePingMethod=false
ApiApplicationServer:
-Dlogging.config=classpath:logback-api.xml -Dspring.profiles.active=api
6、修改 api中的application-api.properties改成application.properties
3、运行后端环境
顺序启动 MasterServer–>WorkerServer–>ApiApplicationServer 如果需要用到日志功能,执行 org.apache.dolphinscheduler.server.log.LoggerServer 的main 方法。 后端swagger地址 :http://localhost:12345/dolphinscheduler/doc.html?language=zh_CN&lang=cn
4、搭建前端环境,我这里已经有了,就不详细介绍了,要下载node.js
使用前端工具打开 dolphinScheduler-ui,打开一个终端,执行,npm install命令,会生成一个依赖文件,node_moudles,成功之后,执行npm run start
执行之后出来端口号:
前端页面打开:
5、输入用户名和密码(执行sql的语句的时候,默认往这个user表里面添加了一条记录,密码是加密的)
用户:admin
密码:dolphinscheduler123
6、登录成功
有问题的话,可以一起交流一下,我也是第一次搭建。
|