转载

Hadoop 入门实践

Hadoop 2.0 架构

Hadoop 包括如下几个模块:

  1. Hadoop Common:公共基础组件;
  2. Hadoop Distributed File System(HDFS):分布式文件系统;
  3. Hadoop YARN:任务和资源管理框架;
  4. Hadoop MapReduce:基于YARN的并行数据处理系统;
  5. 其它基于Hadoop的项目(包括Pig,Hive,Spark等)。

Hadoop 入门实践 图片来源: Icons and Stencils for Hadoop

了解基本架构之后先在本地安装一下最新版本的 Hadoop,我安装在阿里云服务器:

Ubuntu 14.04.3 LTS

Hadoop 单节点安装

依赖

  1. Java 1.5.X
  2. ssh
wget http://javadl.oracle.com/webapps/download/AutoDL?BundleId=116021   mv AutoDL/?BundleId=116021 jre-7u7-linux-x64.tar.gz   tar zxvf jre-7u7-linux-x64.tar.gz  sudo mkdir -p /usr/java   sudo cp -r jre1.8.0_73/* /usr/java/  export JAVA_PATH=/usr/java   

下载 Hadoop

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz   tar zxvf hadoop-2.6.4.tar.gz   cd hadoop-2.6.4  export HADOOP_INSTALL=/path/to/hadoop-2.6.4   export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin   

三种集群模式

Hadoop 共有三种模式,运行前需要先了解它们的差别:

  1. 单机(本地)模式
  2. 伪分布式模式
  3. 完全分布式模式

单机模式只是运行一次 MapReduce 程序,不生成 daemon,适合调试程序;伪分布式模式 daemon 运行在本地,只是模拟集群;完全分布式的 daemon 运行在多个机器上。

文章开始介绍的 Hadoop 架构中提到两个主要模块:HDFS 和 YAEN,运行 Hadoop 前需要分别对其进行配置,在配置之前需要先了解一下它们分别是什么。

HDFS & YARN 配置

HDFS

HDFS 是基于 Google File System(GFS) 的一种实现,由 Java 实现的一种分布式、可扩展、可移植的文件系统。HDFS 由两部分组成:

  1. NameNode:主机(master machine),用于管理所有集群数据的元数据;
  2. DataNode:HDFS 中真正用于保存数据的部分,通常包含多个DN;

除此之外,在多节点集群模式下,还配备一个 Secondary NameNode,用于生成主机数据操作的缓存镜像,结构如下图所示:

Hadoop 入门实践

*图片来源:见参考1*

选择伪分布式模式,我们先配置启动 HDFS。由于需要用到 ssh ,先对本机设置 ssh 无密码登录模式:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys   ssh localhost   

创建新的配置目录:

mkdir init_config   cp $HADOOP_INSTALL/etc/hadoop//*.xml init_config/   

编辑 init/_config/core-site.xmlinit/_config/hdfs-site.xml

<!-- core-site.xml -->   <configuration>     <property>     <name>fs.default.name</name>     <value>hdfs://localhost:9000</value>   </property> </configuration>   <!-- hdfs-site.xml -->   <configuration>     <property>     <name>dfs.replication</name>     <value>1</value>   </property> </configuration>   

格式化HDFS,然后运行启动脚本:

hadoop namenode -format   start-dfs.sh --config /absolute/path/to/init_config  # 遇到错误 # localhost: Error: JAVA_HOME is not set and could not be found. # 可能与我用 zsh 有关,JAVA_HOME 已设置在 ~/.zshrc # 解决方案 cp $HADOOP_INSTALL/etc/hadoop/hadoop-env.sh init_config/   # 编辑 init_config/hadoop-env.sh export JAVA_HOME=/usr/java   

启动之后,可以从通过浏览器访问 http://localhost:50070

Hadoop 入门实践

YARN

YARN 还是基于 Google MapReduce 的实现,具体 MapReduce 的原理有时间可以研究一下这篇论文。 MapReduce 的基本过程如下:

(input) <k1, v1>->map-><k2, v2>->combine-><k2, v2>->reduce-><k3, v3> (output) 

map/reduce 的过程对数据进行分块并行处理,而 Hadoop 提供的 YARN 框架由 JobTrackerTaskTracker 两部分组成,输入和输出都是来自/存入 HDFS,YARN 只是负责调度和监控,其架构如下图所示:

Hadoop 入门实践 *图片来源:见参考1*

要启动 YARN 同样需要配置 init/_config/yarn-site.xml

<!-- yarn-site.xml -->   <configuration>     <property>     <name>yarn.resourcemanager.address</name>     <value>localhost:8032</value>   </property>   <property>     <name>yarn.nodemanager.aux-services</name>     <value>mapreduce.shuffle</value>   </property> </configuration>   

之后运行:

start-yarn.sh --config /absolute/path/to/init_config  # 若出现 cat: /path/to/init_config/slaves: No such file or directory # 则需要从 $HADOOP_INSTALL/etc/hadoop/ 中 copy 过来。 

启动成功之后同样可以通过 http://localhost:8088 访问 Web 管理界面:

Hadoop 入门实践

总结

到此为止已经完成了 Hadoop 单机节点下的伪分布式模式的启动,接下来需要分别学习:

  • HDFS 的一些指令操作以及 Web 管理界面
  • MapReduce 原理
  • 基于 Python 的 MapReduce 数据操作以及 YARN 的 Web 管理界面

Hadoop 负责数据的存储于基本处理,HDFS 与 MapReduce 分别实现 数据存储处理过程 的分布式并行加工。有了数据基础之后,才可以进一步应用到机器学习模型中,或者是实现更加高效的查询或计算,这就需要后续更多基于 Hadoop 之上的应用,例如 Pig/Hive/Spark。

参考

  1. A Beginners Guide to Hadoop
  2. Book《Hadoop: The Definitive Guide》
  3. Wikipedia: Apache Hadoop
  4. Hadoop 新 MapReduce 框架 Yarn 详解
原文  http://blog.rainy.im/2016/03/05/hadoop-101/
正文到此结束
Loading...