默认情况下,Hadoop群集上已经启用了Disk Balancer功能 。通过在hdfs-site.xml中调整dfs.disk.balancer.enabled参数值,选择在Hadoop中是否启用磁盘平衡器 。
HDFS Disk Balancer相关命令Plan计划命令:hdfs diskbalancer -plan <datanode>
-out //控制计划文件的输出位置
-bandwidth //设置用于运行Disk Balancer的最大带宽 。默认带宽10 MB/s 。
–thresholdPercentage //定义磁盘开始参与数据重新分配或平衡操作的值 。默认的thresholdPercentage值为10%,这意味着仅当磁盘包含的数据比理想存储值多10%或更少时,磁盘才用于平衡操作 。
-maxerror //它允许用户在中止移动步骤之前为两个磁盘之间的移动操作指定要忽略的错误数 。
-v //详细模式,指定此选项将强制plan命令在stdout上显示计划的摘要 。
-fs //此选项指定要使用的NameNode 。如果未指定,则Disk Balancer将使用配置中的默认NameNode 。
文章插图
命令
Execute执行
命令:hdfs diskbalancer -execute <JSON file path>Query查询
execute命令针对为其生成计划的DataNode执行计划 。
命令:hdfs diskbalancer -query <datanode>Cancel取消
query命令从运行计划的DataNode获取HDFS磁盘平衡器的当前状态 。
命令:hdfs diskbalancer -cancel <JSON file path>Report汇报
hdfs diskbalancer -cancel planID node <nodename>
cancel命令取消运行计划 。
命令:hdfs diskbalancer -fs https://namenode.uri -report <file://>
推荐阅读
- Centos 7 添加磁盘设备
- 如何整理磁盘碎片整理磁盘碎片整理的详细方法
- 详细讲解Win10磁盘分区教程
- 网络磁盘 Windows电脑挂载阿里云盘为本地磁盘
- 详解服务器、磁盘和网卡知识
- 深入解析什么是磁盘阵列技术?常用的磁盘阵列有哪几种?
- Linux服务器磁盘满了怎么办
- 获取linux内存、cpu、磁盘IO等信息shell脚本及其原理详解
- win10c盘无法扩展卷有未分配空间-win10c盘无法扩展卷中间有磁盘分区-
- 如何在 Linux 上检查可用的磁盘空间