我这里的spark部署在虚拟机内，使用的版本为：
python3.8
hadoop3.3
spark3.2
java8
为了防止报错，在windows环境我也安装了python3.8和虚拟机同步
此时linux集群已经部署好了spark环境
1、配置Hadoop DLL
在编写spark时可能会用到hadoop的一些功能，所以需要配置hadoop的运行环境
文件可以在github上下载，https://github.com/cdarlint/winutils
因为没有对应的hadoop版本，我用的是对应hadoop3.1的文件，目前没有发现问题
下载完成后将bin目录的hadoop.dll文件复制进C盘的System32下
配置完成后，需要加上环境变量
变量名为HADOOP_HOME
变量值为 apache-hadoop-3.1.1-winutils-master文件的位置
2、下载pyspark库
本机的python版本最好和虚拟机保持一致，以免出现问题
可以使用anaconda创建虚拟环境
pip install pyspark
3、配置pycharm
3.1新建python工程，配置解释器
解释器选择之前创建的虚拟环境下的python.exe
3.2远程连接linux的python解释器
点击pycharm左上角的File -> Settings，找到Python Interpreter
点击右上角的齿轮，选择add增加解释器
进入后选择SSH，填入主机名和用户名，点击next
因为linux我使用的也是anaconda安装python，且anaconda的所有者是用户user，所以我这里填的是user
然后填入登录密码
然后填入linux下的python的位置，点击finish
完成后可以在pycharm的右下角选择解释器
4、一些环境变量
为了确保spark在运行时少出现问题，需要在windows配置一些环境变量
因为Spark程序是运行在JVM基础之上的，所以需要配置JAVA_HOME
PYSPARK_PYTHON指向python的解释器，这是为了本地模式能运行spark程序
