[大数据]win10 搭建spark环境

烦死，搞完发现没了 又要来一次

本文介绍win10中搭建spark环境并与anaconda结合

1. 下载Anaconda、python并安装（默认安装）
2. 测试命令行cmd使用ipython是否正常，若正常转4，否咋转3
3. 使用pip安装：pip install? ipython? ?pip install notebook
4. 安装jdk并配置环境，参见Win10使用java环境_RookieZW的博客-CSDN博客
5. 安装配置spark

   1. ?下载地址?Downloads | Apache Spark

   2. ?我选择下载的是编译后的版本，如下；（也可选择源码下载）

   3. 解压、并配置环境变量（path中）

   4. 配置模式及工具

   5. 与python建立联系

   6. 修改spark\conf下的spark-env文件

      ? ? 在文件末尾加入如下三行

      ? ? export PYSPARK_PYTHON=/D:/soft/Anaconda??
      ? ? export PYSPARK_DRIVER_PYTHON=/D:/soft/Anaconda
      ? ? export PYSPARK_SUBMIT_ARGS='--master local[*]'

   7. 将spark/python下的pyspark拷贝到python的site_packages目录下

   8. 测试

      ?
      ?
      ?
      ?