Hadoop_Exper

---

Hadoop的启动与管理

start-dfs.sh #启动HDFS集群
start-yarn.sh #启动YARN集群
jps

查看运行的任务，应该有6个进程：NodeManager、SecondaryNameNode 、ResourceManager、Jps、DataNode 和 NameNode。

实际案例

WordCount

访问http://localhost:50070 即可查看Hadoop的管理界面。

mkdir /root/data
cd /root/data
vim word.txt #创建word.txt文件作为输入文件

hadoop fs -mkdir -p /wordcount/input #借助HDFS Shell创建input目录
hadoop fs -put /root/data/word.txt /wordcount/input #将本地的文件传入YARN的input输入
cd $HADOOP_HOME/share/hadoop/mapreduce/ #进入存放JAR包的目录
hadoop jar hadoop-mapreduce-examples-2.7.7.jar wordcount /wordcount/  input/word.txt /wordcount/output #运行JAR包,wordcount参数为指定功能
hadoop fs -cat /wordcount/output/part-r-00000 #查看输出的统计结果

完成后访问http://localhost:8088 即可查看YARN集群的运行状态。

PI

直接使用hadoop jar hadoop-mapreduce-examples-2.7.7.jar pi 5 5,第一个5表示Map次数,第二个5表示每个Map中抛掷的次数。