[大数据]presto安裝

一、服务端安装

官网地址：Presto | Distributed SQL Query Engine for Big Data

1、下载包

2、解压缩

tar -zxvf presto-server-0.265.1.tar.gz?

mv?presto-server-0.265.1 /usr/local/presto

3、 创建data、etc文件夹：

mkdir data

mkdir etc

?plugin下存放各种数据源的连接

data:后期会存储我们计算过程当中的临时数据。

4、在etc下添加jvm.config

vi?jvm.config

添加如下内容：

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

?5、presto支持多个数据源，在presto中叫catalog，这里我们配置支持hive的数据源，配置一个hive的catalog。

cd /usr/local/presto/etc

mkdir catalog

vi hive.properties

connector.name=hive-hadoop2
hive.metastore.uri=thrift://master:9083

此处的hive-hadoop2中的Hadoop2指的是Hadoop的版本。

6、配置好后分发给其他服务器。

7、分发完成后，在etc下创建node.properties

node.id的值可以为数据、字母、运算符。只要保证每台机器不一样即可。

node.data-dir:存储临时数据的路径?

?8、presto是由一个corrdinator节点和多个worker节点组成。在master节点上配置成coordinator，在master-backup和node1上配置成worker。

master：

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8881
query.max-memory=50GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://master:8881

master-backup和node1

coordinator=false
http-server.http.port=8881
query.max-memory=50GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery.uri=http://master:8881

query.max-memory为查询的最大内存。测试环境没那么大的数据量，随便配。生产上要根据服务器内存，其他组件使用的内存等综合考虑。

discovery-server是coordinator内置的一个服务，共用8881端口。

discovery-server用来跟workder进行通讯。服务启动后worker会向discovery-server进行注册并保持监听，实时汇报任务状态和健康状态，并与coordinator保持通讯，这样coordinator就可以知道每个worker的状态，可以更好的分配任务。

9、配置完成后，就可以启动服务了，启动前需要先启动hive。

启动hive

cd /usr/local/hive

bin/hive --service metastore

启动presto

前台启动：?bin/launcher run

后台启动：bin/launcher start

?二、客户端安装

Command Line Interface — Presto 0.266 Documentation

mv presto-cli-0.265.1-executable.jar prestocli

chmod +x prestocli

./prestocli

./prestocli ?--server master:8881 --catalog hive --schema default

show schemas;

use db_hive;

show tables;

?

三、可视化客户端安装

下载 yanagishima-17.0.tar.gz 最新包