教你用Python 编写 Hadoop MapReduce 程序

逃离我推掉我的手 2022-09-12 00:56 273阅读 0赞

> **摘要：**Hadoop Streaming 使用 MapReduce 框架，该框架可用于编写应用程序来处理海量数据。

本文分享自华为云社区《[Hadoop Streaming：用 Python 编写 Hadoop MapReduce 程序][Hadoop Streaming_ Python _ Hadoop MapReduce]》，作者：Donglian Lin。

随着数字媒体、物联网等发展的出现，每天产生的数字数据量呈指数级增长。这种情况给创建下一代工具和技术来存储和操作这些数据带来了挑战。这就是 Hadoop Streaming 的用武之地！下面给出的图表描绘了从2013年起全球每年产生的数据增长情况。IDC估计，到 2025年，每年产生的数据量将达到180 Zettabytes！

![5ae7a3d75d2e5002faf09a5c10dc6dd0.png][]

IBM 表示，每天有近 2.5 千万字节的数据被创建，其中 90% 的世界数据是在过去两年中创建的！存储如此庞大的数据量是一项具有挑战性的任务。Hadoop 可以比传统的企业数据仓库更有效地处理大量结构化和非结构化数据。它跨分布式计算机集群存储这些庞大的数据集。Hadoop Streaming 使用 MapReduce 框架，该框架可用于编写应用程序来处理海量数据。

由于 MapReduce 框架基于 Java，您可能想知道如果开发人员没有 Java 经验，他/她如何工作。好吧，开发人员可以使用他们喜欢的语言编写 mapper/Reducer 应用程序，而无需掌握太多 Java 知识，使用Hadoop Streaming而不是切换到 Pig 和 Hive 等新工具或技术。

## **什么是 Hadoop 流？** ##

Hadoop Streaming 是 Hadoop 发行版附带的实用程序。它可用于执行大数据分析程序。Hadoop 流可以使用 Python、Java、PHP、Scala、Perl、UNIX 等语言执行。该实用程序允许我们使用任何可执行文件或脚本作为映射器和/或化简器来创建和运行 Map/Reduce 作业。例如：

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar
    -input myInputDirs
    -输出我的输出目录
    -文件夹/垃圾箱/猫
    -减速器/bin/wc

## **参数说明：** ##

![92532ea47dff4f4bf947ab22739b16fa.png][]

## **Python MapReduce 代码：** ##

mapper.py
    #!/usr/bin/python
    import sys
    #Word Count Example
    # input comes from standard input STDIN
    for line in sys.stdin:
    line = line.strip() #remove leading and trailing whitespaces
    words = line.split() #split the line into words and returns as a list
    for word in words:
    #write the results to standard output STDOUT
    print'%s    %s' % (word,1) #Emit the word

![a79df6cf71a611313a67242ae0d5c7a4.png][]

reducer.py

#!/usr/bin/python
    import sys
    from operator import itemgetter
    # using a dictionary to map words to their counts
    current_word = None
    current_count = 0
    word = None
    # input comes from STDIN
    for line in sys.stdin:
    line = line.strip()
    word,count = line.split('   ',1)
    try:
    count = int(count)
    except ValueError:
    continue
    if current_word == word:
    current_count += count
    else:
    if current_word:
    print '%s   %s' % (current_word, current_count)
    current_count = count
    current_word = word
    if current_word == word:
    print '%s   %s' % (current_word,current_count)

![94d1b0263e15cad7f561a11cc2d3ec6a.png][]

## **跑：** ##

*  创建一个包含以下内容的文件并将其命名为 word.txt。

猫鼠狮鹿虎狮象狮鹿

*  将 mapper.py 和 reducer.py 脚本复制到上述文件所在的同一文件夹中。

![e111c710370067f117bc5c367cc6448c.png][]

*  打开终端并找到文件所在的目录。 命令：ls：列出目录中的所有文件cd：更改目录/文件夹

![4420c29acf8ac43736612e582bc2310a.png][]

*  查看文件的内容。

命令：cat file\_name

![440d21492e92d7c44db5163f8dedf0ad.png][]

> mapper.py 的内容

命令：cat mapper.py

![cb740b3b07da87afda6e933591988ba0.png][]

>reducer.py 的内容

命令：cat reducer.py

![022d3a998bfdd5cdded5dbcd8ccbc8bb.png][]

![fbdb35c63cd266eab2ec478b3e2c47f2.png][]

我们可以在本地文件（例如：word.txt）上运行 mapper 和 reducer。为了在 Hadoop 分布式文件系统 (HDFS) 上运行 Map 和 Reduce，我们需要Hadoop Streaming jar。所以在我们在 HDFS 上运行脚本之前，让我们在本地运行它们以确保它们工作正常。

>运行映射器

命令：cat word.txt | python mapper.py

![672fdf821164f76551f553e7e5ed8757.png][]

>运行reducer.py

命令： cat word.txt | python mapper.py | sort -k1,1 | python reducer.py

![c56954a91a41f356c8707196410d0b16.png][]

我们可以看到映射器和减速器按预期工作，因此我们不会面临任何进一步的问题。

## **在 Hadoop 上运行Python 代码** ##

在我们在 Hadoop 上运行 MapReduce 任务之前，将本地数据（word.txt）复制到 HDFS

> 示例：hdfs dfs -put source\_directory hadoop\_destination\_directory

命令：hdfs dfs -put /home/edureka/MapReduce/word.txt /user/edureka

![157619672a65f2c39b0ee7903d915bef.png][]

## **复制jar文件的路径** ##

基于jar版本的Hadoop Streaming jar路径为：

/usr/lib/hadoop-2.2.X/share/hadoop/tools/lib/hadoop-streaming-2.2.X.jar

因此，在您的终端上找到 Hadoop Streaming jar 并复制路径。

命令：

ls /usr/lib/hadoop-2.2.0/share/hadoop/tools/lib/hadoop-streaming-2.2.0.jar

![1e3b8029128fd2957c0b0a58ff94516e.png][]

## **运行 MapReduce 作业** ##

命令：

hadoop jar /usr/lib/hadoop-2.2.0/share/hadoop/tools/lib/hadoop-streaming-2.2.0.jar -file /home/edureka/mapper.py -mapper mapper.py -file /home/ edureka/reducer.py -reducer reducer.py -input /user/edureka/word -output /user/edureka/Wordcount

![50fe132a38722a5f6c1f5abe6381c26c.png][]

![b56faec222b9ea84b80ab4434a6d0c17.png][]

Hadoop 为统计和信息提供了一个基本的 Web 界面。当 Hadoop 集群运行时，在浏览器中打开 http://localhost:50070。这是 Hadoop Web 界面的屏幕截图。

![54c1cc8991c63287b2be2e406c643f64.png][]

现在浏览文件系统并找到生成的 wordcount 文件以查看输出。下面是截图。

![e914bf77db349eac9d350a05c11d028a.png][]

我们可以使用这个命令在终端上看到输出

命令：hadoop fs -cat /user/edureka/Wordcount/part-00000

![502f4a07303a248eea437d3e6e3a0759.png][]

您现在已经学会了如何使用 Hadoop Streaming 执行用 Python 编写的 MapReduce 程序！

**[点击关注，第一时间了解华为云新鲜技术~][Link 1]**

[Hadoop Streaming_ Python _ Hadoop MapReduce]: https://link.zhihu.com/?target=https%3A//bbs.huaweicloud.com/blogs/300640%3Futm_source%3Dzhihu%26utm_medium%3Dbbs-ex%26utm_campaign%3Dei%26utm_content%3Dcontent
[5ae7a3d75d2e5002faf09a5c10dc6dd0.png]: /images/20220828/a15d844772414903a05f3c9c3041ce4a.png
[92532ea47dff4f4bf947ab22739b16fa.png]: /images/20220828/a0a6617f1bbc45e8b6bf739a2e281cd8.png
[a79df6cf71a611313a67242ae0d5c7a4.png]: /images/20220828/d8989249a1b8410796a1a6fd887fbe3b.png
[94d1b0263e15cad7f561a11cc2d3ec6a.png]: /images/20220828/1ce5fd88ac344f1783d562e90e3d8d84.png
[e111c710370067f117bc5c367cc6448c.png]: /images/20220828/a63903cfbf184dbd8b4dd15e2e5e9102.png
[4420c29acf8ac43736612e582bc2310a.png]: /images/20220828/f1fb189218d241c4bf82cd135297717f.png
[440d21492e92d7c44db5163f8dedf0ad.png]: /images/20220828/09e35ca72d314992a2cb98ac46778e05.png
[cb740b3b07da87afda6e933591988ba0.png]: /images/20220828/1442f11bfe0e4c269cea45f56bacc4a0.png
[022d3a998bfdd5cdded5dbcd8ccbc8bb.png]: /images/20220828/bc4d7f097fc94c12a9a70176b1a11148.png
[fbdb35c63cd266eab2ec478b3e2c47f2.png]: /images/20220828/4305980f9a3a4117b98cd66065102d6d.png
[672fdf821164f76551f553e7e5ed8757.png]: /images/20220828/6c73c354bbf841279a1005bd913dea6b.png
[c56954a91a41f356c8707196410d0b16.png]: /images/20220828/8b08bbb93e2742ff9e65b79114da46a1.png
[157619672a65f2c39b0ee7903d915bef.png]: /images/20220828/e9674aa256c345779803d68eb77192e5.png
[1e3b8029128fd2957c0b0a58ff94516e.png]: /images/20220828/95e7fa7dd6ad4599bbae4316e66a8bcd.png
[50fe132a38722a5f6c1f5abe6381c26c.png]: /images/20220828/2c38d8724ee1404888147d15192075e3.png
[b56faec222b9ea84b80ab4434a6d0c17.png]: /images/20220828/341fd60124b84fabb288d0d4e1748395.png
[54c1cc8991c63287b2be2e406c643f64.png]: /images/20220828/ced88841650a4beba72f5c66614caf42.png
[e914bf77db349eac9d350a05c11d028a.png]: /images/20220828/120c75bfa2264cf08d1985bf2addca70.png
[502f4a07303a248eea437d3e6e3a0759.png]: /images/20220828/33bc82edc0354d01a5774f27fc876943.png
[Link 1]: https://link.zhihu.com/?target=https%3A//bbs.huaweicloud.com/blogs%3Futm_source%3Dzhihu%26utm_medium%3Dbbs-ex%26utm_campaign%3Dei%26utm_content%3Dcontent