调度器的更改
在Hadoop的etc/hadoop/yarn-site.xml的文件中加入configuration 标签内。
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fifo.FifoScheduler</value>
</property>
日志级别的更改
当我们向查看yarn的调度的日志时候 ,查看到的都是info,而绝大多数我们想看的日志都在debug中,我们需要将info改为debug。
在Hadoop的目录的sbin/yarn-daemon.sh中93行左右,我们可以看到这样一句:
export YARN_ROOT_LOGGER=${YARN_ROOT_LOGGER:-DEBUG,RFA}
将对应的级别改为你想要就可以。
idea中启用debug的方式
在Hadoop启动文件下加入一行
#!/bin/bash
export YARN_RESOURCEMANAGER_OPTS="-agentlib:jdwp=transport=dt_socket,address=8788,server=y,suspend=y"
./start-hadoop.sh
start-hadoop.sh 我是这样写的:
#!/bin/bash
/opt/model/hadoop-2.7.6/sbin/hadoop-daemon.sh start namenode
/opt/model/hadoop-2.7.6/sbin/hadoop-daemon.sh start datanode
/opt/model/hadoop-2.7.6/sbin/yarn-daemon.sh start resourcemanager
/opt/model/hadoop-2.7.6/sbin/yarn-daemon.sh start nodemanager
/opt/model/hadoop-2.7.6/sbin/mr-jobhistory-daemon.sh start historyserver
并在idea 配置 将断点打在自己感兴趣的地方即可。将debug-hadoop.sh启动后,控制台会显示。
|