博客
关于我
yarn开启Label Scheduler
阅读量:651 次
发布时间:2019-03-15

本文共 1400 字,大约阅读时间需要 4 分钟。

YARN节点标签配置指南

一、配置文件夹和权限

在进行YARN节点标签配置之前,请先确保相关配置文件夹和权限已正确设置。执行以下命令:
) [root@mypc01 ~]# hdfs dfs -mkdir -p /yarn/labels[root@mypc01 ~]# hdfs dfs -chmod 700 /yarn()

二、配置yarn-site.xml

编辑或创建`$HADOOP_HOME/etc/hadoop/yarn-site.xml`文件,将以下配置添加到文件末尾:
)
yarn.node-labels.enabled
true
yarn.node-labels.fs-store.root-dir
hdfs://mypc01:8020/yarn/labels
yarn.resourcemanager.scheduler.class
org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
(
)

三、重启ResourceManager

按如下步骤重启 ResourceManager 服务:
) # 停止 ResourceManager$HADOOP_HOME/sbin/yarn-daemon.sh stop resourcemanager# 启动 ResourceManager$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager ()

四、YARN节点标签管理

<侯如何添加、替换或删除yarn节点标签呢?我们可以通过 resourcemanager web 界面或命令行工具进行操作。

通过命令添加标签要将特定标签添加到集群中,请运行以下命令:
) yarn rmadmin -addToClusterNodeLabels label1,label2 () 注意:请根据需要替换`label1,label2`为相关标签名称。所需标签将自动分配给集群中的所有 NodeManager 节点。

通过命令替换标签

要为特定节点更换标签,请运行以下命令:
) yarn rmadmin -replaceLabelsOnNode 192.168.10.101,label1 () 此命令将指定标签`label1`替换到目标节点处。如果需要同时指定多个标签,也可以在命令末尾相应增加标签名称。请注意,命令中的IP地址可选简化为主机名或完整的网络地址。

通过命令删除标签

要移除指定标签,请运行以下命令:
) yarn rmadmin -removeFromClusterNodeLabels label1,label2 () 请注意,执行此操作可能需要管理员权限。标签删除后,相关节点将不再显示在集群中。

查看YARN节点标签

想要查看集群中所有节点当前的标签,请通过命令行工具执行:
) [root@mypc01 hadoop]# yarn cluster --list-node-labels() 查看结果会显示集群中的所有节点标签及其对应的标签信息。通过命令输出结果,可以直接查看最新标签状态。

五、注意事项

- 如果需要为多个节点分配相同或者不同的标签,可以通过Bulk 运算来提高效率。- 添加或修改标签后,请确保相关的 NodeManager 需要重启以获取最新标签信息。- 为提高可读性,建议在配置中提供清晰且一致的标签命名规范。

转载地址:http://pkpmz.baihongyu.com/

你可能感兴趣的文章
java中带参数的try(){}语法——关闭资源
查看>>
使用FileZilla,FTP登录出现错误:FileZilla状态: 不安全的服务器,不支持 FTP over TLS
查看>>
kafka+storm+hbase整合试验(Wordcount)
查看>>
VMware克隆虚拟机后重启network失败
查看>>
Hbase压力测试
查看>>
StreamReader & StreamWriter
查看>>
C#中的类、方法和属性
查看>>
Python爬取清朝末年医书:《醉花窗医案》,看看病症情况
查看>>
Python爬虫训练:爬取酷燃网视频数据
查看>>
Python数据分析入门(十九):绘制散点图
查看>>
大佬谈接口自动化,我是这样做测试框架开发的……
查看>>
C++版浙大PAT乙级1069(20分)测试点3答案错误解决方法
查看>>
浏览器刷新页面
查看>>
easyui日期处理(开始时间和结束时间)
查看>>
java文件上传
查看>>
Callable中call方法和Runnable中run方法的区别
查看>>
超市账单管理系统
查看>>
查找单链表中倒数第k个节点
查看>>
Linux yum提示Loaded plugins错误的解决方法
查看>>
Netty的体系结构及使用
查看>>