Anaconda liunx版本下载
Anaconda | The World’s Most Popular Data Science Platform
Anaconda linux版本安装
上传文件到虚拟机安装目录下
在安装目录下运行程序
sh ./Anaconda3-2021.11-Linux-x86_64.sh
按回车继续，之后按空格一直到 yes/no 输入yes 再之后输入需要安装的目录 之后就等待安装完成
Anaconda换源
sudo gedit ~/.condarc
添加内容
channels:
- defaults
show_channel_urls: true
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
重新打开一个终端可以发现在命令行前边多了一个base 输入python即可看见如下信息 输入exit()退出python
(base) wl@wl:/home/local/anaconda3$ python
Python 3.9.7 (default, Sep 16 2021, 13:09:58)
[GCC 7.5.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
配置pysaprk的虚拟环境
创建名为pyspark的虚拟环境并指定python版本为3.8
conda create -n pyspark python=3.8
等待下载相应的虚拟环境包就可以了
安装完成后输入conda activate pyspark 可以发现我们的环境从base换成了pyspark
(base) wl@wl:/home/local/anaconda3$ conda activate pyspark
(pyspark) wl@wl:/home/local/anaconda3$
到此anaconda的安装到此结束
安装sprak
解压下载的spark压缩包到安装路径,如果感觉解压后的名字太长也可以对文件进行重命名
tar -zxvf spark-....tgz -C /home/lcoal
配置spark环境变量
sudo gedit /etc/profile
根据自己安装的路径进行修改输入以下内容
export JAVA_HOME=/home/local/java/jdk1.8.0_311
export HADOOP_HOME=/home/local/hadoop
export SPARK_HOME=/home/local/spark
export PYSPARK_PYTHON=/home/local/anaconda3/envs/pyspark/bin/python3.8
export HADOOP_CONF_DIR=$HADOOP_HONE/etc/hadoop
之后对环境变量进行更新
source /etc/profile
同样也要在 ~/.bashrc中加入一些环境变量
sudo gedit ~/.bashrc
根据自己安装的路径进行修改输入以下内容
export JAVA_HOME=/home/local/java/jdk1.8.0_311
export PYSPARK_PYTHON=/home/local/anaconda3/envs/pyspark/bin/python3.8
之后在spark的bin目录下执行
./pyspark
得到如下结果说明安装完成
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/__ / .__/\_,_/_/ /_/\_\ version 3.1.3
/_/
Using Python version 3.8.13 (default, Mar 28 2022 11:38:47)
Spark context Web UI available at http://node01:4040
Spark context available as 'sc' (master = local[*], app id = local-1648898647124).
SparkSession available as 'spark'.
>>>
windows pycharm远程环境搭建
首先要确保已经安装了专业版本的pycharm，专业版本pycharm可以关注联系我免费发放给大家附带详细教程
安装好pycahrm后打开pycahrm
1，新建一个工程项目
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hzpN5wDz-1649083646565)(D:\王磊个人\自学课程\b站大数据\截图\image-20220404224537629.png)]
2，
搭建
首先要确保已经安装了专业版本的pycharm，专业版本pycharm可以关注联系我免费发放给大家附带详细教程
安装好pycahrm后打开pycahrm
1，新建一个工程项目
2，给项目创建名称为spark_inux
3，添加linux远程解释器
由于我们需要liunx系统的远程解释器所以我们要添加新的解释器。
点击右下角的三个小点进入解释器配置页面
4，选择ssh并配置IP
图片中host是虚拟机ip，username是你的用户名称
下边是我自己的虚拟机的配置不用管输入后next就行
5，解释器路径设置
解释器的地址就是我们安装的anaconda3新建的虚拟环境pyspark中的解释器，大家把anacond3前的路径改成自己的就可以，点击完成即可
后边关于文件同步上传设置等可以查看我另外一篇博客远程解释器详细配置
6，测试
输入以下内容
# coding:utf8
from pyspark import SparkContext,SparkConf
import os
os.environ['JAVA_HOME'] = r"JAVA_HOME =/home/local/java/jdk1.8.0_311" # 这里的路径为java的bin目录所在路径
if __name__ == '__main__':
conf = SparkConf().setMaster("local[1]").setAppName("Wordcounhelloworld")
sc = SparkContext(conf=conf)
大家注意JAVA_HOME是虚拟机中jdk地址，没有可能会报错，千万记得加上r，我开始没有加在这里卡了一两天血亏啊
最后希望对大家学习有所帮助