|
1、搭建好Hadoop集群（建议使用最新版本的hadoop），参考：https://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-common/ClusterSetup.html?spm=a2c6h.12873639.0.0.6bad6f8c2fkacG
2、修改hadoop配置，支持oss；
? ? ? 1)、编辑$HADOOP_HOME/etc/hadoop/core_site.xml，添加下面的配置信息：
? ? ? ? ? ? <property>
? ? ? ? ? ? <name>fs.oss.endpoint</name>
? ? ? ? ? ? <value>YourEndpoint(内网endpoint，外网endpoint会导致写数据过慢，丢失的情况)</value>
? ? ? ? ? ? <description>Aliyun OSS endpoint to connect to. </description>
? ? ? ? ? ? </property>
? ? ? ? ? ? <property>
? ? ? ? ? ? <name>fs.oss.accessKeyId</name>
? ? ? ? ? ? <value>YourAccessKeyId</value>
? ? ? ? ? ? <description>Aliyun access key ID</description>
? ? ? ? ? ? </property>
? ? ? ? ? ? <property>
? ? ? ? ? ? <name>fs.oss.accessKeySecret</name>
? ? ? ? ? ? <value>YourAccessKeySecret</value>
? ? ? ? ? ? <description>Aliyun access key secret</description>
? ? ? ? ? ? </property>
? ? ? ? ? ? <property>
? ? ? ? ? ? <name>fs.oss.impl</name>
? ? ? ? ? ? <value>org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem</value>
? ? ? ? ? ? </property>
? ? ? ? ? ? <property>
? ? ? ? ? ? <name>fs.oss.buffer.dir</name>
? ? ? ? ? ? <value>/tmp/oss</value>
? ? ? ? ? ? ?</property>
? ? ? 2)、编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh，添加：
? ? ? ? ? ? export HADOOP_OPTIONAL_TOOLS="hadoop-aliyun"
3、如果hadoop2.x报java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem not found错误，需要编辑$HADOOP_HOME/libexec/hadoop-config.sh文件，在327行添加：
? ? ??CLASSPATH=$CLASSPATH:$TOOL_PATH。
note：hadoop3.x，不需要步骤3；
|