Hadoop：使用 JavaScript 构建

2019年9月27日 98次阅读 来源: kviccn

说明

  1. 本文所有操作均在 linux 环境下进行。

  2. 转载请注明出处。

“任何可以使用JavaScript来编写的应用，最终会由JavaScript编写。”

作为一名小前端，我深受 Jeff Atwood 前辈的鼓舞。上面这条定律便是他提出来的。

背景

最近在学习 Hadoop ，权威指南 中介绍到了 Hadoop Streaming，说 Hadoop Streaming 是 Hadoop 提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为 Mapper 和 Reducer 。书中分别介绍了如何使用 Ruby 和 Python 结合 Hadoop Streaming 进行开发。没有 JS，不开心。我们 JS 这么强大，一定也可以。。。

分析

我们先来分析 Hadoop Streaming 的原理，如下：
mapper 和 reducer 会从标准输入中读取用户数据，一行一行处理后发送给标准输出。Streaming 工具会创建 MapReduce 作业，发送给各个 TaskTracker，同时监控整个作业的执行过程。

分析完原理之后我们知道了只需构造 mapper 和 reducer 即可，他们的工作是从标准输入读取用户数据，以行（hang）为单位处理完成后发送到标准输出。

准备

JavaScript 如何从标准输入输出读写数据呢？别担心，我们有 NodeJS。
准备好 JavaScript 的运行环境之后开始搭建 Hadoop 的运行环境，参考 Hadoop: 单节点集群配置。

编写代码

先贴目录结构：

$ find .
.
./map
./reduce
./wordcount.txt

map 中的代码如下：

#!/usr/bin/env node

// 引入readline模块
const readline = require('readline')

// 创建readline接口实例
const rl = readline.createInterface({
    input:process.stdin,
    output:process.stdout
})

rl.on('line', line => {
    // 分离每一行的单词
    line.split(' ').map((word) => {
        // 将单词以如下格式写入标准输出
        console.log(`${word}\t1`)
    })
})

rl.on("close", () => {
    process.exit(0)
})

reduce 中的代码如下：

#!/usr/bin/env node
const readline = require('readline')

const  rl = readline.createInterface({
    input:process.stdin,
    output:process.stdout,
    terminal: false
})

// 存储键值对 <String, Number>
let words = new Map()

rl.on('line', line => {
    // 解构赋值
    const [word, count] = line.split('\t')
    // 如果 Map 中没有该单词，则将该单词放入 Map ，即第一次添加
    if (!words.has(word)) {
        words.set(word, parseInt(count))
    } else {
        // 如果该单词已存在，则将该单词对应的 count 加 1
        words.set(word, words.get(word) + 1)
    }
})

rl.on("close", () => {
    words.forEach((v, k) => {
        // 将统计结果写入标准输出
        console.log(`${k}\t${v}`)
    })
    process.exit(0)
})

wordcount.txt 中的内容如下：

JS Java
JS Python
JS Hadoop

目前 map 和 reduce 这两个程序还无法运行，需要加可执行权限，方法如下：

$ chmod +x map reduce

现在可以在终端测试一下程序是否能正确执行：

$ cat wordcount.txt | ./map | ./reduce
JS      3
Java    1
Python  1
Hadoop  1

可以看到，已经正确统计出了词频。

接下来只需把作业提交给 Hadoop ，让它去执行就可以了。

提交作业至 Hadoop

此时要确保 Hadoop 正常运行

在 HDFS 中创建目录：

$ hdfs dfs -mkdir input

将待处理文件上传至 HDFS：

$ hdfs dfs -put wordcount.txt input

此时可以通过 web 接口查看文件是否正确上传：

《Hadoop：使用 JavaScript 构建》

向 Hadoop 提交作业

$ hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar \
> -input input/wordcount.txt \
> -output output \
> -mapper map \
> -reducer reduce

检查计算结果：

$ hdfs dfs -cat output/*
Hadoop    1
JS        3
Java      1
Python    1

可以看到与之前的结果一致。

解释一下 Hadoop Streaming 的几个参数：

  1. -input：输入文件路径

  2. -output：输出文件路径

  3. -mapper：用户自己写的 mapper 程序，可以是可执行文件或者脚本

  4. -reducer：用户自己写的 reducer 程序，可以是可执行文件或者脚本

参考资料

Hadoop Streaming 编程
Node.js 命令行程序开发教程
Readline | Node.js v7.7.0 Documentation

    原文作者：kviccn
    原文地址: https://segmentfault.com/a/1190000008574175
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞