更换tez引擎后,如果执行任务卡住,修改调节容量调度器的资源调度策略,修改以下配置信息
cd /opt/module/hadoop-3.1.3/etc/hadoop/
?vim tez-site.xml
<!--容器给AM分配的资源-->
?<property>
? ? ? <name>tez.am.resource.memory.mb</name>
? ? ? <value>1024</value>
?</property>
?<property>
? ? ? <name>tez.am.resource.cpu.vcores</name>
? ? ? <value>1</value>
?</property>
?<!--堆占整个资源的占比 -->
?<property>
? ? ? <name>tez.container.max.java.heap.fraction</name>
? ? ? <value>0.4</value>
?</property>
?<!--容器给task分配的资源 -->
?<property>
? ? ? <name>tez.task.resource.memory.mb</name>
? ? ? <value>1024</value>
?</property>
?<property>
? ? ? <name>tez.task.resource.cpu.vcores</name>
? ? ? <value>1</value>
?</property>
vim capacity-scheduler.xml
将以下value调成1
<!--AM所占集群最大资源占比-->
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>1</value>
<description>
Maximum percent of resources in the cluster which can be used to run
application masters i.e. controls number of concurrent running
applications.
</description>
</property>
向集群分发capacity-scheduler.xml文件
|