[大数据]spark-sql 和 pyspark的配置

1、

1、**执行spark-sql 报错 ：sparksql启动报错The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH**
解决方案：spark无法使用mysql的驱动，访问hive的元数据（mysql数据库），所以需要想办法让spark能引用已存在的访问mysql的驱动。
针对已经配置完毕的hive，一般的访问mysql的驱动放在hive的lib库之下，比如：/opt/hive/hive2.3/lib/mysql-connector-java-5.1.48.jar
第一步：将$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf下
第二步：配置$SPARK_HOME/conf里面的spark-defaults.conf 两个参数，使spark可以访问指定的mysql驱动
	spark.executor.extraClassPath /opt/hive/hive2.3/lib/mysql-connector-java-5.1.48.jar
	spark.driver.extraClassPath /opt/hive/hive2.3/lib/mysql-connector-java-5.1.48.jar
	当然，将mysql驱动包复制到$SPARK_HOME/lib下也是可行的。