IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> TDH大数据平台的卸载与重装 -> 正文阅读

[大数据]TDH大数据平台的卸载与重装

前言

大家好,我是明哥!
前段时间写过一篇博文关于TDH 集群的许可证管理机制及TDH集群的卸载与安装的博文。
TDH 集群的许可证管理机制及TDH集群的卸载与安装

该片博文的核心意思如下:

  1. 星环的tdh大数据平台执行了严格的许可证管理机制,当集群的许可证到期后,集群及集群中的关键服务如hdfs/inceptor等将不能再进行重启,无法正常对外提供服务。所以集群管理员需要提前规划时间,及时向星环官方申请许可证续期。

  2. 不过对于依托最终客户名义,多次续期的开发或测试集群,星环官方对续期申请可能会冷处理不做任何响应。此时,我们可选的一个方案是,将tdh集群卸载后再进行重装。

  3. 如果原集群中还有hdfs/inceptor等数据需要保留,需要通过distcp和mysqldump等工具借助一个第三方集群备份数据,待新集群安装完毕后再从第三方集群的备份数据中恢复数据。

本此我司一个产品部的 TDH 开发集群到期,inceptor 服务无法继续使用。于是产品部找到笔者来协助卸载与重装该集群,并声明原集群中的数据可以删除。笔者按照上述博文中的步骤进行操作,前后历史四个小时左右,新集群就OK了。

在此记录下卸载与重装过程中的一些小问题,供由相同需求的小伙伴们参考。更多细节请参考上述博文。

TDH 集群卸载

TDH集群的卸载,按照上述博文进行操作即可。有以下几个细节需要注意:

  • 该卸载脚本执行后,可能会有些没有删除成功的目录或文件,需要根据日志提示手动执行相应的命令进行删除;
  • 该卸载脚本不会删除磁盘上license相关目录和文件,需要执行命令手动删除下license相关目录和文件,否则再次安装TDH集群后,仍会检测并使用旧的 LICENSE 数据,仍会报集群许可证过期错误:
    • mount | grep transwarp/mounts | awk ‘{print $3}’| xargs umount
    • rm -rf /mnt/disk1/Hadoop
    • rm –rf /hadoop/namenode_dir
    • rm -rf /transwarp/mounts
    • rm –rf /var/manager/zookeeper
    • rm –rf /var/license
    • rm –rf /var/zookeeper1
  • 该卸载脚本 uninstall.sh 可以重复执行;

关于该脚本的说明,也可以查看TDH官方如下博文:
http://support.transwarp.cn/t/topic/1633

TDH集群卸载后的重装

TDH集群卸载后的重装,参考上述博文即可。有以下几个细节需要注意:

  • 安装过程中,需要正确配置 DNS, NTP, 和可用的rpm repo;

  • 从安装日志中可以看出,安装时在底层使用 yum命令从配置的 rpm repo 库安装了多个服务,一些关键的服务如下:

    • installing : docker-tos-1.0-1.el7
    • Installing : docker-compose-tos-1.0-1.el7
    • Installing : hyperkube-tos-1.0-1.el7
    • Installing : etcd-tos-1.0-1.el7
  • TDH安装完毕后会自动启动 TSO, TOS是星环开发的基于Docker和Kubernetes的云操作系统,用来管理TDH集群;

  • TOS的正常运作,需要依赖 haproxy,通过删除与重装的方式安装 TDH 时,底层的 haproxy 服务很容易出错,造成 TOS 无法正常启动,整个集群也无法正常启动。

  • 笔者在这次卸载与重装过程中,遇到的唯一一个比较耗时间的地方,就是 haproxy 问题的修复,其修复方式是:

    • 卸载并重装haproxy:yum erase/remove -y haproxy && yum install -y haproxy;
    • 手动修改haproxy使用星环的配置文件/etc/tos/conf/haproxy.cfg,而不是默认的/etc/haproxy/haproxy.cfg(需要修改/usr/lib/systemd/system/haproxy.service);
    • 然后执行Systemctl daemon-reload 重新加载最新的harpxy;
    • 然后重启 haproxy: systemctl restart haproxy;

相关截图如下:

tos因haproxy启动失败而启动失败的错误日志

journalctl -u haproxy 查看haproxy的错误日志

haproxy使用的默认配置文件

haproxy使用星环的配置文件

重启后haproxy启动成功

haproxy问题总结

  • tdh的正常运行依赖haproxy的正常运行(Tdh安装时底层会自动安装haproxy);
  • 如果haproxy运行失败,可以采取卸载并重新安装的方式来修复;
  • 可以使用命令 Journalctl –u haproxy 常看haproxy相关日志;
  • HAPROXY 重新安装后,需要确认下底层/usr/lib/systemd/system/haproxy.service使用的配置文件是星环的/etc/tos/conf/haproxy.cfg 而不是默认的/etc/haproxy/haproxy.cfg;
  • haproxy修改底层的配置文件后,需要先执行命令 systemctl daemon-reload 重新加载最新的harpxy,然后再重启 haproxy: systemctl restart haproxy;

!关注不迷路~ 各种福利、资源定期分享!欢迎小伙伴们扫码添加明哥微信,后台加群交流学习。

IT明哥

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-23 16:45:39  更:2021-08-23 16:46:13 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 13:18:55-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码