WordCount是什么?WordCount编程实现思路

WordCount算是大数据计算领域经典的入门案例,相当于Hello World。

虽然WordCount业务极其简单,但是希望能够通过案例感受背后MapReduce的执行流程和默认的行为机制,这才是关键。

WordCount是什么?WordCount编程实现思路

WordCount编程实现思路

map阶段的核心:把输入的数据经过切割,全部标记1,因此输出就是<单词,1>。

shuffle阶段核心:经过MR程序内部自带默认的排序分组等功能,把key相同的单词会作为一组数据构成新的kv对。

reduce阶段核心:处理shuffle完的一组数据,该组数据就是该单词所有的键值对。对所有的1进行累加求和,就是单词的总次数。

WordCount是什么?WordCount编程实现思路

上传课程资料中的文本文件1.txt到HDFS文件系统的/input目录下,如果没有这个目录,使用shell创建。

•hadoop fs -mkdir /input

•hadoop fs -put 1.txt /input

准备好之后,执行官方MapReduce实例,对上述文件进行单词次数统计。

第一个参数:wordcount表示执行单词统计任务;

第二个参数:指定输入文件的路径;

第三个参数:指定输出结果的路径(该路径不能已存在);

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/292658.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
黑马程序员黑马程序员订阅用户
上一篇 2023年6月29日 15:26
下一篇 2023年6月29日 15:26

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息