Python海量数据处理之_Hadoop（一）集群搭建

2019年6月8日 186次阅读 来源: xieyan0811

1. 说明

 数据处理时，可能会遇到数千万以及上亿条数据的情况。如果一次性处理所有数据，就会遇到内存不够，计算时间太长等问题。上篇《Python海量数据处理之_单机优化》讲述了单机的处理大数据的解决方案。下面将讲述如何利用服务器集群处理大数据，这里使用的工具是Hadoop，内容太多，分为三部分介绍，本篇是第一部分集群搭建，后两部分分别是原理和python调用。

2. Hadoop简介

 如果有多台用于数据计算的机器，可以使用Hadoop框架建立集群，统一分配布属。Hadoop是由Apache基金会所开发的分布式系统基础架构，最核心的设计是：HDFS和MapReduce。HDFS为数据提供了存储，MapReduce为数据提供了计算，其中Mapper指的就是拆分处理，Reducer指的就是将结果合并。和单机一样，核心也是拆分，处理，再合并。
 多台机器同时处理数据，相对更复杂，需要考虑：数据共享，同步，冲突，资源分析，计算顺序，以及主控宕机等等问题。

3. Hadoop安装

 首先，需要配置起Hadoop环境，才能进行各种实验。Hadoop有三种安装方式：单机，伪分布式和分布式，前两种都是在单机上安装使用的。伪分布式即可以用单机实现，又可以理解分布式的原理，本文主要介绍伪分布式Hadoop的安装。

1) 安装Java

 Hadoop是java语言实现的，所以需要先安装java和配置相关的环境变量，一般用apt-get安装后环境就被自动配置了。

2) 创建hadoop用户

 不一定非要创建hadoop用户，因为考虑到有删除ssh密码等操作，为了机器安全性，这里创建了hadoop用户。

$ sudo adduser hadoop
$ su hadoop # 之后的操作都在hadoop用户下进行

3) 安装配置ssh

 为了使本机能使用ssh登陆，需要安装ssh服务端，并关掉 PAM认证，并设用户密码为空

$ sudo apt-get install -y openssh-server # 安装ssh服务
$ sudo vim /etc/ssh/sshd_config # 将UsePAM设为no
$ sudo /etc/init.d/ssh start # 启动ssh服务，如果安装时已自启动，则配置后用restart重启
$ ssh localhost # 连接后用exit接出，此时用户目录下生成.ssh目录
$ cd ~/.ssh # 以下几步是为了设置当前用户无密码登陆
$ ssh-keygen -t rsa # 设置密码为空，即直接回车
$ cat ./id_rsa.pub >> ./authorized_keys

4) 下载Hadoop

 http://www.apache.org/dyn/closer.cgi/hadoop/common/
 建议下载2.6或2.7的版本，不同版本配置文件不同，而2.7前后的版本教程较多，不用下源码，下载bin包即可。

$ cd /home/hadoop/ # 安装在哪里都行，但需要注意在配置文件中指定目录
$ tar xvzf  hadoop-2.7.5.tar.gz
$ ln –s hadoop-2.7.5 hadoop # 方便以后更换版本
$ vi ~/.bashrc 

#加下以入内容（在/etc/profile中设置也行）。设置后，用source ./barshrc让它立即生效。

export HADOOP_PREFIX="/home/hadoop/hadoop"  # 具体根据安装目录设置
export YARN_CONF_DIR="/home/hadoop/hadoop"  
export HADOOP_COMMON_LIB_NATIVE_DIR="$HADOOP_PREFIX/lib/native"  
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"  
export PATH=$PATH:$HADOOP_PREFIX/bin

5) 配置core-site.xml

$  vi hadoop/etc/hadoop/core-site.xml

在configure中加入如下内容（具体根据安装目录设置）
<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/home/hadoop/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

6) 配置hdfs-site.xml

$  vi hadoop/etc/hadoop/hdfs-site.xml
在configure中加入如下内容

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/hadoop/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/home/hadoop/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

7) 配置mapered-site.xml

$ cp ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
$ vi ./etc/hadoop/mapred-site.xml
在configure中加入如下内容

<configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
</configuration>

8) 配置yarn-site.xml

$ vi ./etc/hadoop/yarn-site.xml

<configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
            </property>
</configuration>

9) 格式化namenode

$ hadoop namenode -format

 如果显示Exiting with status 0，则创建成功

10) 在etc/hadoop/*-env.sh中设置JAVA_HOME

（根据自己机器的配置）

export JAVA_HOME=/usr/lib/jvm/java-1.9.0-openjdk-amd64/

11) 启动hdfs

$ hadoop/sbin/start-dfs.sh

12) 看当前服务启动状态

$ jps

《Python海量数据处理之_Hadoop（一）集群搭建》

 成功启动后还可以通过访问http://localhost:50070，来查看状态。

13) 启动所有服务

./sbin/start-all.sh

 成功启动后还可以通过访问http://localhost:8088/cluster，来查看状态。

14) 问题及解决

 我在执行start-dfs.sh时，报错util.NativeCodeLoader，意思是调用内部库时出错，内部库指的是用JNI调的C库，解决方法是用ldd看看so库链接是否正常，如果so库与当前系统不能匹配，则需要重编源码。还有一种情况，就是环境变量没设对，我这边设置了两个环境变量：

$ export JAVA_LIBRARY_PATH=/home/hadoop/hadoop/lib/native/
$ export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

之后问题得以解决，根本原因是不同Hadoop版本环境变量名有差别，所以跟着文档做常会出现各种问题，而文档中指定的版本很可能不是主流版本，已经无法下载了。解决方法是跟进脚本，定位具体问题。

4. 编译Hadoop源码

 如果上述可工作正常，则无需要编译源码。有些情况下，环境与二进制版本不一致，则需要下载源码编译，我下载的也是2.7.5版本的src包。重编时坑也很多。
源码包解压后，目录中有BUILDING.txt文件，执行其中所有apt-get相关命令。然后编译：

$ mvn package -Pdist,native -DskipTests –Dtar

mvn是编译工具maven，编译过程非常慢，编出将近4G。编译后生成文件为hadoop-dist/target/hadoop-2.7.5.tar.gz，

在编译过程中遇到三种报错：
 一种报错是“protoc failure”，用apt-get安装该包后又报错版本不对，最后编译了protobuf-2.5.0包（注意install后要ldconfig，否则还是找不到），得以解决。
 另一个报错是“No plugin descriptor found at META-INF”，我从csdn下载了一个，改了版本号就能用了。
 还有一种报错是连不上marven服务器，于是在设置文件/etc/maven/settings.xml中加入了国内的镜像地址。

    原文作者：xieyan0811
    原文地址: https://www.jianshu.com/p/7e43e8cd12ba
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞