本文介绍GreenPlum的安装和部署步骤,首先是安装Greenplum,然后配置参数,然后安装postgis扩展。
一、安装并配置GreenPlum
1. 修改/etc/hosts 对应相应的机器名 可以通过hostname 查看(所有节点)
172.16.1.81 master 172.16.1.82 slave1
2. 创建用户 gpadmin(所有节点)
Passwd gpadmin
3. 修改机器内核参数
(主节点 分发到其他节点)(说明:相同的配置先在主节点节点上配置,配置完成后在复制到其它节点上) 修改/etc/sysctl.conf文件,并添加以下内容:
kernel.shmmax = 500000000
kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sem = 250 512000 100 2048
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.ip_forward = 0
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.ipv4.ip_local_port_range = 1025 65535
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.overcommit_memory = 2
使参数生效执行命令:
sysctl –p
4.修改文件打开限制(所有节点)
修改/etc/security/limits.conf文件,并添加以下内容:
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
5. 安装greenplum master节点上
官网上可以下载两个版本,一个binary版本,一个rpm版本
unzip greenplum-db-5.8.0-rhel7-x86_64.zip
开始安装执行
./greenplum-db-5.8.0-rhel7-x86_64.bin
我们的安装路径 /home/gpadmin/greenplum/greenplum-5.16.0
ll /home/gpadmin/greenplum/
主节点上安装成功
6. 开始安装其他节点
在主节点上
Cd /home/gpadmin/greenplum/
Mkdir conf
新建文件hostlist,并添加以下内容:
Master
Slave1
同样新建seg_hosts文件,并添加以下内容: Slave1 执行命令
Su gpadminsource /home/gpadmin/greenplum/greenplum-db/greenplum_path.sh
gpssh-exkeys -f /home/gpadmin/greenplum/conf/hostlist
测试如图所示 代表成功。
7. 把安装包分散到其他节点 gpadmin用户下执行
tar -cf gp.5.16.0.tar greenplum-5.16.0/ 打包
gpscp -f /home/gpadmin/greenplum//conf/seg_hosts gp.5.16.0.tar =:/home/gpadmin/greenplum/
进入/home/gpadmin/greenplum/conf 目录下执行命令
gpssh -f seg_hosts
cd /home/gpadmin/greenplum
[slave1]
tar –xf gp.5.16.0.tar
ln -s ./greenplum-db-5.16.0 greenplum-db
[slave1]
exit
8.初始化数据库
/home/gpadmin/greenplum/目录下创建
mkdir /data
修改权限
chown gpadmin.gpadmin /data
进入/home/gpadmin/greenplum/conf目录下
gpssh -f hostlist
cd /home/gpadmin/greenplum/data
mkdir –p /home/gpadmin/greenplum/data/master
mkdir –p /home/gpadmin/greenplum/data/primary
mkdir –p /home/gpadmin/greenplum/data/mirror
配置环境变量 主节点中 vi /home/gpadmin/.bashrc 在最后添加
9. 修改初始化配置文件
初始化 Greenplum 配置文件模板都在/usr/local/greenplum-db/docs/cli_help/gpconfigs目录下,gpinitsystem_config是初始化 Greenplum 的模板,此模板中 Mirror Segment的配置都被注释;创建一个副本,对其以下配置进行修改:
cd /home/gpadmin/greenplum/greenplum-db/docs/cli_help/gpconfigs
cp gpinitsystem_config initgp_config
vi initgp_config
修改的内容为 推荐为4-8个数据节点,本系统安装了4个
declare -a DATA_DIRECTORY=(/home/gpadmin/greenplum/data/primary /home/gpadmin/greenplum/data/primary /home/gpadmin/greenplum/data/primary /home/gpadmin/greenplum/data/primary )
MASTER_HOSTNAME=master
MACHINE_LIST_FILE=(/home/gpadmin/greenplum /conf/seg_hosts
执行初始化
gpinitsystem -c initgp_config –S
初始化成功,则安装成功
二、安装postgis插件,官网上下载gpkg文件
1. 和安装步骤一样,执行。
2. 修改配置文件
Vi hosts_expand
Slave2
Slave3
3. 创建扩容数据库myexpand
4. 执行命令
gpexpand -D myexpand
5. 测试查看是否成功:
select a.dbid,a.content,a.role,a.port,a.hostname,b.fsname,c.fselocation from gp_segment_configuration a ,pg_filespace b,pg_filespace_entry c where a.dbid=c.fsedbid and b.oid=c.fsefsoid order by content;
三、启动、登录数据库
su gpadmin
gpstop -M fast
gpstart -a
psql -h 172.16.1.81 -p 5432 -d yourDB -U gpadmin
四、GreenPlum操作常用命令
\c
\dt
\l
SELECT block_id,block_name FROM t_aoi_110000 CROSS JOIN ST_MakeEnvelope(116.343242,39.868524,116.362350,39.872238,4326) As geom_src
WHERE ST_Intersects(geom,geom_src);
扫码加入我的知识星球:“时空大数据”,可获取更多更高品质的地图、地理信息、GIS、大数据、时空分析、实景三维、地图可视化等方面的知识和文件,前20名可享5折优惠券。
|