[系统运维]Linux ClickHouse单节点和集群部署

ClickHouse单节点

服务器优化(直接部署可跳过此章节)

ClickHouse 可以在任何具有 x86_64 ，AArch64 或 PowerPC64LE CPU 架构的 Linux ，FreeBSD 或 Mac OS X 上运行。貌似不能在 Windows 系统下安装，不过 ClickHouse 同样支持 Docker 部署，Windows 系统可以在 Docker 下安装 ClickHouse 。

根据官方文档推荐：Debian 或 Ubuntu 系统可以使用官方预编译的 deb 软件包来安装，CentOS 、RedHat 等Linux发行版可以使用官方预编译的 rpm 包 来安装，如果您的操作系统不支持安装 deb 或 rpm 包，也可以使用 tgz 软件包或直接源码编译安装。下面我们以 CentOS 系统为例，以 rpm 方式来安装下 ClickHouse。

 more /etc/redhat-release  CentOS Linux release 7.6.1810 (Core)  

检测当前CPU是否支持SSE 4.2

grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported" SSE 4.2 supported   

设置系统参数：

在/etc/security/limits.conf这个文件的末尾加入以下内容：

vim /etc/security/limits.conf              
soft nofile 100001 * 
hard nofile 100002 * 
soft memlock unlimited * 
hard memlock unlimited * 
soft nproc 131072 * 
hard nproc 131072              

CentOS取消SELINUX

修改/etc/selinux/config中的SELINUX=disabled后重启

vim /etc/selinux/config       
SELINUX=disabled            

重启服务器生效

单节点部署

下面有4个rpm包，去官网下载tgz后解压：跳转地址
上传四个包到服务器

依次执行：

注意安装server时需要输入默认用户密码：trsadmin123

rpm -ivh clickhouse-common-static-21.8.9.13-2.x86_64.rpm
rpm -ivh clickhouse-client-21.8.9.13-2.noarch.rpm
rpm -ivh clickhouse-server-21.8.9.13-2.noarch.rpm
rpm -ivh clickhouse-test-21.8.9.13-2.noarch.rpm     

生成密码(上面设置的密码不生效情况下)：

 PASSWORD=$(base64 < /dev/urandom | head -c8); echo "$PASSWORD"; echo -n "$PASSWORD" | sha256sum | tr -d '-'              

256进行加密

修改默认密码

vim /etc/clickhouse-server/users.d/default-password.xml              

修改基础配置：

vim /etc/clickhouse-server/config.xml

ps:如果提示readonly，需要授权：chmod +w /etc/clickhouse-server/config.xml

自己指定数据目录和日志目录：

<path>/TRS/clickhouse/data/</path>
<tmp_path>/TRS/clickhouse/tmp</tmp_path>
<log>/var/log/clickhouse-server/clickhouse-server.log</log>
<errorlog>/var/log/clickhouse-server/clickhouse-server.err.log</errorlog>

放开远程访问：

<listen_host>::</listen_host>

启动：

nohup clickhouse-server --config-file=/etc/clickhouse-server/config.xml &              

使用客户端链接：

clickhouse-client --password

?

ClickHouse集群

vim /etc/clickhouse-server/config.xml

找到配置zookeeper配置，单节点zookeeper只需配置一个（zookeepr3.7存在问题未搭建成功->使用kafka2.3中zookeeper成功）

 <zookeeper>
        <node>
            <host>10.12.71.4</host>
            <port>2181</port>
        </node>
    </zookeeper>

其他ClickHouse服务器也均以此配置

ClickHouse config.ml 集群配置详解

<remote_servers>
<cluster_name>
 <shard>
  <replica>
      <host>10.12.71.3</host>
      <port>9000</port>
  </replica>
  </shard>
 <shard>
    <replica>
        <host>10.12.71.4</host>
        <port>9000</port>
    </replica>
 </shard>
</cluster_name>  
</remote_servers>

• cluster_name 为集群名字可以自定义,此处有坑，自定义的集群名不要用符号: - 要用下划线

• shard 标签下配置各个集群的节点

• 每个节点都要进行与此相同的集群配置

配置完成后进入ClickHouse 客户端查看集群信息（每台节点都要查看）

clickhouse-client --password
select * from system.clusters

创建库表进行测试

create database cluster_test on cluster cluster_hx;

然后在其他节点上执行 show databases; 看到此数据库即可成功

开发者涨薪指南

48位大咖的思考法则、工作方式、逻辑体系