[大数据]spark 参数

输入：
1、 spark.hadoop.hive.exec.orc.split.strategy

含义：

参数控制在读取ORC表时生成split的策略:

BI策略以文件为粒度进行split划分；

ETL策略会将文件进行切分，多个stripe组成一个split；

HYBRID策略当文件的平均大小大于hadoop最大split值（默认256M）时使用ETL策略，否则使用BI策略。

建议：

1. 由于读orc文件时默认按文件划分task(BI模式), 有数据倾斜的表（这里的数据倾斜指大量stripe存储于少数文件中）的情况并发可能不够, 影响执行效率. 可以改成ETL模式

2. 对于一些较大的ORC表，可能其footer较大，ETL策略可能会导致其从hdfs拉取大量的数据来切分split，甚至会导致driver端OOM，因此这类表的读取建议使用BI策略。

2、 spark.hadoop.mapreduce.input.fileinputformat.split.minsize

含义：

计算Split划分时的minSize

3、 spark.hadoop.mapreduce.input.fileinputformat.split.maxsize

含义：

控制在ORC切分时stripe的合并处理。具体逻辑是，当几个stripe的大小大于spark.hadoop.mapreduce.input.fileinputformat.split.maxsize时，会合并到一个task中处理。可以适当调小该值，如set spark.hadoop.mapreduce.input.fileinputformat.split.maxsize=134217728。以此增大读ORC表的并发。

4、 spark.hadoopRDD.targetBytesInPartition

含义：

读取输入文件时&最终合并小文件时，每个task读取的数据量。

建议：

1. 建议67108864, 如果发现读取文件的task较多，可以适当增大该值。

5、 spark.sql.adaptive.shuffle.targetPostShuffleInputSize

含义：

开启spark.sql.adaptive.enabled后，最后一个stage在进行动态合并partition时，会根据shuffle read的数据量除以该参数设置的值来计算合并后的partition数量。所以增大该参数值会减少partition数量，反之会增加partition数量。

建议：

1. 268435456, 可以适当增大或减小。

6、 spark.sql.mergeSmallFileSize

含义：

最终合并小文件时：
与 hive.merge.smallfiles.avgsize 类似，写入hdfs后小文件合并的阈值。如果生成的文件平均大小低于该参数配置，则额外启动一轮stage进行小文件的合并。

建议：

1. 建议33554432，如果最终文件数仍然较多，可适当调大.。 参考Spark Hive 小文件合并

2. 如果输入数据量量大，但是最终结果数据量较少时，可以在最后加一个同时结合distribute by操作。如果最终结果数据量本来就较大，没必要加distribute by。

7、 spark.sql.targetBytesInPartitionWhenMerge

含义：

与hive.merge.size.per.task 类似，设置额外的合并job的map端输入size.

合并小文件时候，实际的map输入size=max(spark.sql.mergeSmallFileSize, spark.sql.targetBytesInPartitionWhenMerge , spark.hadoopRDD.targetBytesInPartition ）。

建议：

1. 建议33554432。合并小文件时候，实际的map输入size=max(spark.sql.mergeSmallFileSize, spark.sql.targetBytesInPartitionWhenMerge , spark.hadoopRDD.targetBytesInPartition )

8、 spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version

含义：

文件提交算法，MapReduce-4815 详细介绍了 fileoutputcommitter 的原理，version=2 是批量按照目录进行提交，version=1是一个个的按照文件提交。设置 version=2 可以极大的节省文件提交至hdfs的时间，减轻nn压力 。参考http://www.jasongj.com/spark/committer/

建议：

1. 保持默认值即可。
   
   ?