大数据-玩转数据-python开发spark(pycharm)环境搭建
说明: 需要在windows系统下开发spark程序,然后迁移程序到linux生产环境运行。
1.安装好JDK
下载并安装 jdk-17_windows-x64_bin.exe 配置环境变量: JAVA_HOME,值为Java安装路径 C:\Program Files\Java\jdk-17.0.1; 系统变量CLASSPATH .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;(注意最前面的圆点) 系统变量PATH %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin; 检验成功: 在CMD中输入:java -version 2.安装Hadoop,并配置环境变量
下载hadoop https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
解压hadoop-2.7.7.tar.gz特定路径 D:\myprograme\hadoop 配置环境变量
|