[大数据]数仓 即席查询 之 Persto

Presto简介

Presto概念

Presto 是一个开源的分步式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。

注意：虽然Presto 可以解析SQL ，但它不是一个标准的数据库，不是MySQL ，Oracle的代替品，也不能处理在线事务（OLTP）。

Presto架构

Presto优缺点

Presto、Impala性能比较

https://blog.csdn.net/u012551524/article/details/79124532

测试结论：Impala性能稍领先于Presto，但是Presto在数据源支持上非常丰富，包括Hive、图数据库、传统关系型数据库、Redis等

Presto安装

Presto Server安装

0）官网地址
https://prestodb.github.io/
1）下载地址
https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz
2）将presto-server-0.196.tar.gz导入hadoop102的/opt/software目录下，并解压到/opt/module目录

[root@hadoop102 software]$ tar -zxvf presto-server-0.196.tar.gz -C /opt/module/

3）修改名称为presto

[root@hadoop102 module]$ mv presto-server-0.196/ presto

4）进入到/opt/module/presto目录，并创建存储数据文件夹

[root@hadoop102 presto]$ mkdir data

5）进入到/opt/module/presto目录，并创建存储配置文件文件夹

[root@hadoop102 presto]$ mkdir etc

6）配置在/opt/module/presto/etc目录下添加jvm.config配置文件

[root@hadoop102 etc]$ vim jvm.config

添加如下内容

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

7）Presto可以支持多个数据源，在Presto里面叫catalog，这里我们配置支持Hive的数据源，配置一个Hive的catalog

[root@hadoop102 etc]$ mkdir catalog
[root@hadoop102 catalog]$ vim hive.properties 
添加如下内容
connector.name=hive-hadoop2
hive.metastore.uri=thrift://hadoop102:9083

8）将hadoop102上的presto分发到hadoop103、hadoop104

[root@hadoop102 module]$ xsync presto

9）分发之后，分别进入hadoop102、hadoop103、hadoop104三台主机的/opt/module/presto/etc的路径。配置node属性，node id每个节点都不一样。

[root@hadoop102 etc]$vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/opt/module/presto/data

[root@hadoop103 etc]$vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffe
node.data-dir=/opt/module/presto/data

[root@hadoop104 etc]$vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffd
node.data-dir=/opt/module/presto/data

10）Presto是由一个coordinator节点和多个worker节点组成。在hadoop102上配置成coordinator，在hadoop103、hadoop104上配置为worker。
（1）hadoop102上配置coordinator节点

[root@hadoop102 etc]$ vim config.properties
添加内容如下
coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery-server.enabled=true
discovery.uri=http://hadoop102:8881

（2）hadoop103、hadoop104上配置worker节点

[root@hadoop103 etc]$ vim config.properties
添加内容如下
coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery.uri=http://hadoop102:8881

[root@hadoop104 etc]$ vim config.properties
添加内容如下
coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery.uri=http://hadoop102:8881

11）在hadoop102的/opt/module/hive目录下，启动Hive Metastore，用root角色

[root@hadoop102 hive]$
nohup bin/hive --service metastore >/dev/null 2>&1 &

12）分别在hadoop102、hadoop103、hadoop104上启动Presto Server
（1）前台启动Presto，控制台显示日志

[root@hadoop102 presto]$ bin/launcher run
[root@hadoop103 presto]$ bin/launcher run
[root@hadoop104 presto]$ bin/launcher run

（2）后台启动Presto

[root@hadoop102 presto]$ bin/launcher start
[root@hadoop103 presto]$ bin/launcher start
[root@hadoop104 presto]$ bin/launcher start

13）日志查看路径/opt/module/presto/data/var/log

Presto命令行Client安装

1）下载Presto的客户端

https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar

2）将presto-cli-0.196-executable.jar上传到hadoop102的/opt/module/presto文件夹下
3）修改文件名称

[root@hadoop102 presto]$ mv presto-cli-0.196-executable.jar  prestocli

4）增加执行权限

[atguigu@hadoop102 presto]$ chmod +x prestocli

5）启动prestocli

[root@hadoop102 presto]$ ./prestocli --server hadoop102:8881 --catalog hive --schema default

注意：不能show databases; 只能show schema;

6）Presto命令行操作
Presto的命令行操作，相当于Hive命令行操作。每个表必须要加上schema。
例如：

select * from schema.table limit 100
select * from schema.ads_visit_stats;

部署LZO说明

进入hive-hadoop2目录

[root@hadoop102 hive-hadoop2]$ cd /opt/module/presto/plugin/hive-hadoop2

将hadoop下的 lzo 包复制到 hive-hadoop2目录下

[root@hadoop102 hive-hadoop2]$ cp /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar ./

分发到其他两台机器上

[root@hadoop102 hive-hadoop2]$ xsync hadoop-lzo-0.4.20.jar

重启presto

再次进入命令行页面：

[root@hadoop102 presto]$ ./prestocli --server hadoop102:8881 --catalog hive --schema default

presto:gmall> select * from dwd_start_log;

美团发布的LZO 技术说明，presto 不支持 lzo 需要修改hadoop-lzo的代码，可参考github 仓库

https://tech.meituan.com/2014/06/16/presto.html

Presto可视化Client安装

1）将yanagishima-18.0.zip上传到hadoop102的/opt/module目录
2）解压缩yanagishima

[root@hadoop102 module]$ unzip yanagishima-18.0.zip

3）进入到/opt/module/yanagishima-18.0/conf文件夹，编写yanagishima.properties配置

[root@hadoop102 conf]$ vim yanagishima.properties

#添加如下内容
jetty.port=7080
presto.datasources=root-presto
presto.coordinator.server.root-presto=http://hadoop102:8881
catalog.root-presto=hive
schema.root-presto=default
sql.query.engines=presto

4）在/opt/module/yanagishima-18.0路径下启动yanagishima

[root@hadoop102 yanagishima-18.0]$ nohup bin/yanagishima-start.sh >y.log 2>&1 &
bin/yanagishima-start.sh

5）启动web页面
http://hadoop102:7080 看到界面，进行查询了。

6）查看表结构

这里有个Tree View，可以查看所有表的结构，包括Schema、表、字段等。
比如执行select * from hive.dw_weather.tmp_news_click limit 10，这个句子里Hive这个词可以删掉，是上面配置的Catalog

每个表后面都有个复制键，点一下会复制完整的表名，然后再上面框里面输入sql语句，ctrl+enter键执行显示结果。

不可以在SQL后面加分号，否则报错

Presto优化之查询SQL

只选择使用的字段

由于采用列式存储，选择需要的字段可加快字段的读取、减少数据量。避免采用*读取所有字段。

[GOOD]: SELECT time, user, host FROM tbl

[BAD]:  SELECT * FROM tbl

过滤条件必须加上分区字段

对于有分区的表，where语句中优先使用分区字段进行过滤。acct_day是分区字段，visit_time是具体访问时间。

[GOOD]: SELECT time, user, host FROM tbl where acct_day=20171101

[BAD]:  SELECT * FROM tbl where visit_time=20171101

Group By语句优化

合理安排Group by语句中字段顺序对性能有一定提升。将Group By语句中字段按照每个字段distinct数据多少进行降序排列。

[GOOD]: SELECT GROUP BY uid, gender

[BAD]:  SELECT GROUP BY gender, uid

Order by时使用Limit

Order by需要扫描数据到单个worker节点进行排序，导致单个worker需要大量内存。如果是查询Top N或者Bottom N，使用limit可减少排序计算和内存压力。

[GOOD]: SELECT * FROM tbl ORDER BY time LIMIT 100

[BAD]:  SELECT * FROM tbl ORDER BY time

使用Join语句时将大表放在左边

Presto中join的默认算法是broadcast join，即将join左边的表分割到多个worker，然后将join右边的表数据整个复制一份发送到每个worker进行计算。如果右边的表数据量太大，则可能会报内存溢出错误。

[GOOD] SELECT ... FROM large_table l join small_table s on l.id = s.id
[BAD] SELECT ... FROM small_table s join large_table l on l.id = s.id

注意事项

字段名引用

避免和关键字冲突：MySQL对字段加反引号`、Presto对字段加双引号分割
当然，如果字段名称不是关键字，可以不加这个双引号。

时间函数

对于Timestamp，需要进行比较的时候，需要添加Timestamp关键字，而MySQL中对Timestamp可以直接进行比较。

/*MySQL的写法*/
SELECT t FROM a WHERE t > '2017-01-01 00:00:00'; 



/*Presto中的写法*/
SELECT t FROM a WHERE t > timestamp '2017-01-01 00:00:00';

不支持INSERT OVERWRITE语法

Presto中不支持insert overwrite语法，只能先delete，然后insert into。

PARQUET格式

Presto目前支持Parquet格式，支持查询，但不支持insert。