[大数据]Hadoop实现基于MapReduce的矩阵乘法开启jobhistory

在mapred-site.xml文件中，增加以下配置

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>0.0.0.0:10020</value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>0.0.0.0:19888</value>
</property>
</configuration>

在yarn-site.xml文件中，增加以下配置

<configuration>
<property> 
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value> 
</property>
</configuration>

在linux终端运行Hadoop，成功开启jobhistory

2021.8.9更新
在运行基于MapReduce的矩阵乘法过程中，在遇到规模较大的矩阵时，如150*150的矩阵，遇到如下问题：
Container killed on request. Exit code is 143
多半是因为内存分配不足导致，更改配置文件mapred-site.xml和配置文件yarn-site.xml即可。

mapred-site.xml文件内容更改为：

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>0.0.0.0:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>0.0.0.0:19888</value>
</property>
<property>
    <name>mapreduce.map.memory.mb</name>
    <value>1500</value>
    <description>每个Map任务的物理内存限制</description>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>3000</value>
    <description>每个Reduce任务的物理内存限制</description>
</property>
<property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx1200m</value>
</property>
<property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx2600m</value>
</property>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

yarn-site.xml文件内容更改为：

<configuration>

<!-- Site specific YARN configuration properties -->
<property> 
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value> 
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>22528</value>
    <discription>每个节点可用内存,单位MB</discription>
</property>
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1500</value>
    <discription>单个任务可申请最少内存，默认1024MB</discription>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>16384</value>
    <discription>单个任务可申请最大内存，默认8192MB</discription>
</property>
</configuration>