江苏龙网

  1. 主页 > 生活百科 > >

Hadoop运行环境搭建( 五 )

Hadoop

（3）拼接
-rw-rw-r--. 1 haoll haoll 134217728 5月23 16:01 blk_1073741836-rw-rw-r--. 1 haoll haoll1048583 5月23 16:01 blk_1073741836_1012.meta-rw-rw-r--. 1 haoll haoll63439959 5月23 16:01 blk_1073741837-rw-rw-r--. 1 haoll haoll495635 5月23 16:01 blk_1073741837_1013.meta[haoll@hadoop01 subdir0]$ cat blk_1073741836>>tmp.tar.gz[haoll@hadoop01 subdir0]$ cat blk_1073741837>>tmp.tar.gz[haoll@hadoop01 subdir0]$ tar -zxvf tmp.tar.gz执行完发现就是jdk
（4）下载
[hll@hadoop104 software]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./
（5）执行wordcount程序
[haoll@hadoop01 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output配置历史服务器为了查看程序的历史运行情况，需要配置一下历史服务器 。具体配置步骤如下：
1）配置mapred-site.xml
[hll@hadoop01 hadoop]$ vim mapred-site.xml
在该文件里面增加如下配置 。
<!-- 历史服务器端地址 --><property><name>mapreduce.jobhistory.address</name><value>hadoop01:10020</value></property><!-- 历史服务器web端地址 --><property><name>mapreduce.jobhistory.webApp.address</name><value>hadoop01:19888</value></property>2）分发配置
[hll@hadoop01 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml
3）在hadoop01启动历史服务器
[hll@hadoop01 hadoop]$ mapred --daemon start historyserver
4）查看历史服务器是否启动
[hll@hadoop01 hadoop]$ jps
5）查看JobHistory
http://hadoop01:19888/jobhistory
 
配置日志的聚集日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上 。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试 。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer 。
开启日志聚集功能具体步骤如下：
1）配置yarn-site.xml
[hll@hadoop01 hadoop]$ vim yarn-site.xml
在该文件里面增加如下配置 。
<!-- 开启日志聚集功能 --><property><name>yarn.log-aggregation-enable</name><value>true</value></property><!-- 设置日志聚集服务器地址 --><property><name>yarn.log.server.url</name><value>http://hadoop01:19888/jobhistory/logs</value></property><!-- 设置日志保留时间为7天 --><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>2）分发配置
[hll@hadoop01 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml
3）关闭NodeManager 、ResourceManager和HistoryServer
[hll@hadoop02 hadoop-3.1.3]$ sbin/stop-yarn.sh
[hll@hadoop01 hadoop-3.1.3]$ mapred --daemon stop historyserver
4）启动NodeManager 、ResourceManage和HistoryServer
[hll@hadoop02 ~]$ start-yarn.sh
[hll@hadoop01 ~]$ mapred --daemon start historyserver
5）删除HDFS上已经存在的输出文件
[hll@hadoop01 ~]$ hadoop fs -rm -r /output
6）执行WordCount程序
[hll@hadoop01 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
7）查看日志
（1）历史服务器地址
http://hadoop01:19888/jobhistory
（2）历史任务列表

Hadoop运行环境搭建

文章插图
 
（3）查看任务运行日志
Hadoop运行环境搭建

文章插图
 
（4）运行日志详情
Hadoop运行环境搭建

文章插图
 
集群启动/停止方式总结1）各个模块分开启动/停止（配置ssh是前提）常用
（1）整体启动/停止HDFS : start-dfs.sh/stop-dfs.sh
（2）整体启动/停止YARN:
start-yarn.sh/stop-yarn.sh
2）各个服务组件逐一启动/停止
（1）分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
（2）启动/停止YARN
yarn --daemon start/stop resourcemanager/nodemanager
编写Hadoop集群常用脚本1）Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh
[hll@hadoop01 ~]$ cd /home/hll/bin
[hll@hadoop01 bin]$ vim myhadoop.sh
输入如下内容
#!/bin/bashif [ $# -lt 1 ]thenecho "No Args Input..."exit ;ficase $1 in"start")echo " =================== 启动 hadoop集群 ==================="echo " --------------- 启动 hdfs ---------------"ssh hadoop01 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"echo " --------------- 启动 yarn ---------------"ssh hadoop02 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"echo " --------------- 启动 historyserver ---------------"ssh hadoop01 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver";;"stop")echo " =================== 关闭 hadoop集群 ==================="echo " --------------- 关闭 historyserver ---------------"ssh hadoop01 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"echo " --------------- 关闭 yarn ---------------"ssh hadoop02 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"echo " --------------- 关闭 hdfs ---------------"ssh hadoop01 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh";;*)echo "Input Args Error...";;esac


推荐阅读


上一篇：变幻莫测,Mallox勒索病毒家族的第23个变种--.malloxx勒索病毒

下一篇：Redis干货 | 五种常用类型之Hash哈希存储类型详解