基于百度云主机的USDP 2.x 安装详细教程
1. USDP 简介
? UCloud Smart Data Platform（简称 USDP），是 UCloud 推出的云上智能化、轻量级的大数据基础服务平台，能够快速构
建起大 数据的分析处理能力. 应用场景包括 实时数仓，离线数仓，机器学习，以及信息检索等。 目前最新的免费版本2.0.0.0.
官网 https://docs.ucloud.cn/usdp_community/2.0.x/release_notes
| 大数据生态服务 | 服务版本 | 描述 |
|---|
| HDFS | 3.1.1 | 分布式存储服务 | | YARN | 3.1.1 | 分布式资源调度服务 | | ZOOKEEPER | 3.4.13 | 分布式注册中心服务 | | SPARK | 3.0.1 | 分布式计算引擎 | | HBASE | 2.1.10 | 分布式非关系型数据库 | | TEZ | 0.10.0 | 优化 MapReduce 任务的 DAG | | HIVE | 3.1.2 | 常用的 HQL 数仓工具 | | PHOENIX | 5.1.1 | HBase SQL 化查询分析工具 | | KAFKA | 2.12-2.6.1 | 超高吞吐的分布式消息队列 | | KAFKAEAGLE | 2.0.0 | Kafka 可视化管理服务 | | SQOOP | 1.4.7 | 数据采集与转储服务 | | FLINK | 1.12.1 | 分布式计算引擎 | | HUE | 4.8.0 | 可视化管理服务 | | ZEPPELIN | 0.9.0 | 可视化管理服务 | | ELASTICSEARCH | 7.8.0 | 分布式全文检索数据库 | | KIBANA | 7.8.0 | 为 ElasticSearch 提供 Web 页面分析入口 | | RANGER | 2.1.0 | 授权服务 | | DOLPHINSCHEDULER | 1.3.6 | 可视化DAG工作流任务调度系统 | | ALERTMANAGER | 0.21.0 | 发送监控告警信息 | | GRAFANA | 6.5.1 | 展示监控数据 | | INFLUXDB | 1.8.0 | 存储监控数据 | | NODEEXPORTER | 1.0.0 | 读取节点资源监控指标 | | PROMETHEUS | 2.18.1 | 拉取监控数据 |
目前社区免费版支持100个节点的部署，符合公司目前的业务需求。
环境说明
?
USDP 智能大数据平台所支持的最小部署模式为 3 个节点。以百度云为例
- 本文以3台机器为例，bigdata01-03，其中 bigdata01 是主节点，其他是从节点
2. USDP 环境配置
2.1 修改主机名
# 百度的三台主机分别设置主机名 bigdata01 bigdata02 bigdata03
vi /etc/hostname 的HostName # 通过vi 编辑器 修改主机名字
# 分别查看3台主机的 hosts文件 确认无误
cat /etc/hosts
# 通过reboot 命令重启三台主机，查看主机名是否已经修改成功
? [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-piJcLD7O-1630058627575)(USDP安装详细教程.assets/image-20210716135031652.png)]
2.2 主节点安装 vsftpd 服务
2.2.1 选择一个节点作为主节点,本教程选择bigdata01作为主节点,安装vsftpd 服务
yum install -y vsftpd
2.2.2 修改 vsftpd 服务配置文件 开放root用户，允许远程上传文件权限
cd /etc/vsftpd/ # 进入vsftpd服务配置目录
vi ftpusers 通过 vi 编辑 ftpusers 文件 并且注释 root 用户
vi user_list 通过 vi 编辑 user_list 文件 并且注释 root 用户
操作結果如下图所示:
? [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9zcAkeWA-1630058627577)(USDP安装详细教程.assets/image-20210716134209589.png)]
2.3 下载资源与USDP系统环境准备
我们使用usdp最新的以hadoop3.0为基础的2.0版本安装包
百度网盘下载地址:
链接：https://pan.baidu.com/s/1mlic-9ZbK4are52zh1mKfw 提取码:spp9
2.3.1资源说明
USDP 的下载内容主要分为如下 3 种类型：
| 类型序号 | 安装包名称 | 安装包说明 | 放置目录 |
|---|
| 1 | usdp-01-master-privatization-free-2.0.0.0.tar.gz | USDP 主程序与大数据服务资源包 | /opt/usdp-srv/ | | 2 | httpd-rpms.tar.gz 、mirror.tgz | USDP 离线 yum 基础源资源包 | /data | | 3 | epel.tgz | USDP 离线 yum 扩展源资源包 | /data |
注意：
** 1.1 以上的安装包都要下载并且在上传到主节点bigdata01上,然后建立对应的放置目录 放置对应的安装包 **
2.3.2 环境初始化
1. 进入bigdata01 主节点的 repair 环境初始化模块目录
cd /opt/usdp-srv/usdp/repair
2. repair 环境初始化模块目录说明
bin 单个修复模块脚本所在目录，无需手动管理；
config 一键修复脚本所需配置文件目录，需要用户手动修改；
packages 修复过程中安装 USDP 所需依赖压缩包存放目录；
sbin 一键修复主脚本所在目录，无需手动管理；
3. 修改config 目录下的配置文件
repair.properties 主要配置私有化 yum 源安装节点信息、namp 安装节点信息、mysql 数据库安装节点信息、修复机器总数，以及修
复模块日志存放位置。用户根据需要自行修改相关配置项；
repair-host-info.properties 节点全量修复，需要配置此文件，具体配置所有节点内网 Ip、密码、端口号以及主机名；
repair-host-info-add.properties 集群新增节点时，需要配置此文件，具体配置新增节点内网 Ip、密码、端口号以及主机名；
首次全量修复
?repair.properties
yum.repo.host.ip=192.168.64.5
#The Host information for installing the NMAP service
namp.server.ip=192.168.64.5
namp.server.port=22
namp.server.password=Starrank2021@
# The Host information for installing the NTP service(Master)
ntp.master.ip=192.168.64.5
# Install MySQL machine node information
mysql.ip=192.168.64.5
mysql.host.ssh.port=22
mysql.host.ssh.password=123456
# Set the MYSQL database login password
mysql.password=123456
# The total number of machines needed to be repaired.
repair.host.num=3
# The total number of added machines needed to be repaired.
#repair.add.host.num=m(The total number of added machines needed to be repaired)
# Common Settings.
repair.log.dir=./logs
上述代码解释如下：
| 具体配置项 | 说明 |
|---|
| yum.repo.host.ip | 填写未来即将部署 私有化yum 源 的节点的内网 IP（即执行 repair 脚本的节点 ip ）； | | namp.server.ip | 填写未来即将部署 USDP 管理端 的节点的内网 IP； | | namp.server.port | 填写未来即将部署 USDP 管理端 的节点 SSH 端口号，默认22； | | namp.server.password | 填写未来即将部署 USDP 管理端 的节点的密码； | | ntp.master.ip | 选择某个节点作为 NTP 时间同步master 服务器，填写内网 IP； | | mysql.ip | 选择某个节点作为 MySQL 服务器，填写内网 IP； | | mysql.host.ssh.port | 设置 MySQL 所在节点的 SSH 端口号，默认 22； | | mysql.host.ssh.password | 设置 MySQL 的 所在节点的密码； | | mysql.password | 设置数据库登录密码； | | repair.host.num | 设置修复机器数量； | | repair.add.host.num | 新增节点时需要配置此项，全量修复时无需修改； | | repair.log.dir | 设置环境初始化日志存放位置； |
?repair-host-info.properties
# 1.Please provide the information of hosts needed to be repaired in the format specified below
# 2.usdp.ip.i(eg:i=1,2,3.....):
# 3.usdp.password.i:
# 4.usdp.ssh.port.i:
# 5.usdp.ssh.port.hostname.i:
usdp.ip.1=192.168.64.5
usdp.password.1=Starrank2021@
usdp.ssh.port.1=22
usdp.ssh.port.hostname.1=bigdata01
usdp.ip.2=192.168.64.6
usdp.password.2=Starrank2021@
usdp.ssh.port.2=22
usdp.ssh.port.hostname.2=bigdata02
usdp.ip.3=192.168.64.7
usdp.password.3=Starrank2021@
usdp.ssh.port.3=22
usdp.ssh.port.hostname.3=bigdata03
上述代码解释如下：
| 具体配置项 | 说明 |
|---|
| usdp.ip.i | USDP 集群安装节点内网 Ip；（i 表示1-n 的取值，n 为集群机器总数）； | | usdp.password.i | USDP 集群安装节点密码； | | usdp.ssh.port.i | USDP 集群安装节点端口号，默认 22； | | usdp.ssh.port.hostname.i | USDP 集群安装节点主机名； |
执行初始化脚本
完成上述步骤后，执行如下命令即可开始一键初始化任务。
cd /opt/usdp-srv/usdp/repair/sbin
bash repair.sh initAll
source /etc/profile
初始化过程为完全离线的方式，等待一段时间后，即可将所有对应节点的环境准备完毕。
注意 source /etc/profile 这个操作在各个节点上同步操作一下 不然会导致找不到 相关服务命令
为 USDP 配置 MySQL 数据库
/opt/usdp-srv/usdp/config/application-server.yml 修改 datasource 节点的mysql 配置
datasource:
type: com.zaxxer.hikari.HikariDataSource
# driver-class-name: org.gjt.mm.mysql.Driver
driver-class-name: com.p6spy.engine.spy.P6SpyDriver
url: jdbc:p6spy:mysql://192.168.64.5:3306/db_udp?useUnicode=true&characterEncoding=utf-8&useSSL=false
username: root
password: 123456
2.3.3 启动 USDP web服务端程序
节点修复完成后，进入 USDP 管理端所在节点后，并进入 USDP 安装根目录，通过 root 用户执行如下命令，以启动 USDP 管理端服务：
cd /opt/usdp-srv/usdp/
bin/start-udp-server.sh
ps -ef | grep udp-server-1.0.0.jar 查看进程是不是存在
2.4 访问 USDP Web 页面
通过浏览器访问如下地址即可打开 USDP Web 页面：
http://主节点ip:80
2.5 设置初始化密码
? 第一次访问 USDP Web 页面需要设置管理员密码，设置完毕后，即可进行下一步操作。
? 这里设置的账户: admin 密码: admin123456
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZgFnMIgo-1630058627579)(USDP安装详细教程.assets/image-20210716161207172.png)]
注意 : 登录 USDP 页面之后记录一下 硬件识别码 后面申请证书的时候要用到
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b53Q09Sl-1630058627581)(USDP安装详细教程.assets/image-20210716161542712.png)]
2
|