SPARK-SQL优化三剑客：1内存2并发3CPU
1、内存： spark的dirver和executor内存及对应spark作业参数
涉及内存调优就三个参数：spark.driver.memory ，-executor-memory 和 spark.yarn.executor.memoryOverhead
2、并发：提高有shuffle（join, group by 等等数据混洗的场景）及对应业务逻辑SQL参数
涉及并发优化就1个参数：spark.sql.shuffle.partitions
3、CPU：spark的executor的CPU核数和对应spark作业参数（不建议改）
涉及内存调优就1个参数：-executor-cores
案例
1、发生GC，GC时间过长
为了提高运行速度，盲目的将-executor-cores的数量调大，增加CPU核数，但是executor memory的大小不变，每个core的内存也就变小，导致内存不够产生GC，可以也将executor memory也调大些，或者将executor-cores数量调小