[大数据]Hadoop学习笔记

一， hadoop3.1.3

1，

// 配置web ui修改文件系统的用户
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
  </property>
  
  // 配置代理用户提交被代理用户对应的队列的用户
 <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>

2，配置日志聚集

yarn-site.xml

<property>
   <name>mapreduce.log-aggregation-enable</name>
   <value>true</value>
 </property>
 <property>
   <name>yarn.log.server.url</name>
   <value>http://node2:19888/jobhistory/logs</value>
 </property>
 <property>
   <name>mapreduce.log-aggregation.retain-seconds</name>
   <value>604800</value>
 </property>

3，配置历史服务器

<property>
   <name>mapreduce.jobhistory.address</name>
   <value>node2:10020</value>
 </property>
<property>
   <name>mapreduce.jobhistory.webapp.address</name>
   <value>node2:19888</value>
 </property>