转载

配置高可用的Hadoop平台

1.概述

在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下：

创建hadoop用户
安装JDK
配置hosts
安装SSH
关闭防火墙
修改时区
ZK（安装，启动，验证）
HDFS＋HA的结构图
角色分配
环境变量配置
核心文件配置
slave
启动命令（hdfs和yarn的相关命令）
HA的切换
效果截图

下面我们给出下载包的链接地址：

hadoop2.x下载地址

zookeeper下载地址

JDK下载地址

注：若JDK无法下载，请到Oracle的官网下载JDK。

到这里安装包都准备好了，接下来我们开始搭建与配置。

2.搭建

2.1创建Hadoop用户

useradd hadoop
passwd hadoop

然后根据提示，设置密码。接着我给hadoop用户设置面免密码权限，也可自行添加其他权限。

chmod + w / etc / sudoers
hadoop ALL =( root ) NOPASSWD : ALL
chmod - w / etc / sudoers

2.2安装JDK

将下载好的安装包解压到 /usr/java/jdk1.7，然后设置环境变量，命令如下：

sudo vi / etc / profile

然后编辑配置，内容如下：

export JAVA_HOME = /usr/ java / jdk1 . 7
export PATH = $PATH : $JAVA_HOME / bin

然后使环境变量立即生效，命令如下：

source / etc / profile

然后验证JDK是否配置成功，命令如下：

java - version

若显示对应版本号，即表示JDK配置成功。否则，配置无效！

2.3配置hosts

集群中所有机器的hosts配置要要相同（推荐）。可以避免不必要的麻烦，用域名取代IP，方便配置。配置信息如下：

10.211 . 55.12 nna # NameNode Active
10.211 . 55.13 nns # NameNode Standby
10.211 . 55.14 dn1 # DataNode1
10.211 . 55.15 dn2 # DataNode2
10.211 . 55.16 dn3 # DataNode3

然后用scp命令，将hosts配置分发到各个节点。命令如下：

＃这里以 NNS 节点为例子
scp / etc / hosts hadoop@nns : /etc/

2.4安装SSH

输入如下命令：

ssh - keygen – t rsa

然后一路按回车键，最后在将id_rsa.pub写到authorized_keys，命令如下：

cat ~ /.ssh/ id_rsa . pub >> ~ /.ssh/ authorized_keys

在hadoop用户下，需要给authorized_keys赋予600的权限，不然免密码登陆无效。在其他节点只需要使用 ssh-keygen –t rsa 命令，生产对应的公钥，然后将各个节点的id_rsa.pub追加到nna节点的authorized_keys中。最后，将nna节点下的authorized_keys文件通过scp命令，分发到各个节点的 ~/.ssh/ 目录下。目录如下：

# 这里以NNS节点为例子
scp ~ /.ssh/ authorized_keys hadoop@nns :~ /.ssh/

然后使用ssh命令相互登录，看是否实现了免密码登录，登录命令如下：

# 这里以nns节点为例子
ssh nns

若登录过程中木有提示需要输入密码，即表示密码配置成功。

2.5关闭防火墙

由于hadoop的节点之间需要通信（RPC机制），这样一来就需要监听对应的端口，这里我就直接将防火墙关闭了，命令如下：

chkconfig iptables off

注：如果用于生产环境，直接关闭防火墙是存在安全隐患的，我们可以通过配置防火墙的过滤规则，即将hadoop需要监听的那些端口配置到防火墙接受规则中。关于防火墙的规则配置参见“linux防火墙配置”，或者通知公司的运维去帮忙配置管理。

同时，也需要关闭SELinux，可修改 /etc/selinux/config 文件，将其中的 SELINUX=enforcing 改为 SELINUX=disabled即可。

2.6修改时区

各个节点的时间如果不同步，会出现启动异常，或其他原因。这里将时间统一设置为Shanghai时区。命令如下：

# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
cp : overwrite `/etc/localtime'? yes
修改为中国的东八区
# vi /etc/sysconfig/clock
ZONE="Asia/Shanghai"
UTC=false
ARC=false

2.7ZK（安装，启动，验证）

2.7.1安装

将下载好的安装包，解压到指定位置，这里为直接解压到当前位置，命令如下：

tar - zxvf zk -{ version }. tar . gz

修改zk配置，将zk安装目录下conf/zoo_sample.cfg重命名zoo.cfg，修改其中的内容：

# The number of milliseconds of each tick
# 服务器与客户端之间交互的基本时间单元（ms）
tickTime = 2000
# The number of ticks that the initial
# synchronization phase can take
# zookeeper所能接受的客户端数量
initLimit = 10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
# 服务器和客户端之间请求和应答之间的时间间隔
syncLimit = 5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
# 保存zookeeper数据，日志的路径
dataDir = /home/ hadoop / data / zookeeper
# the port at which the clients will connect
# 客户端与zookeeper相互交互的端口
clientPort = 2181
server . 1 = dn1 : 2888 : 3888
server . 2 = dn2 : 2888 : 3888
server . 3 = dn3 : 2888 : 3888
#server.A=B:C:D
#其中A是一个数字，代表这是第几号服务器；B是服务器的IP地址；
#C表示服务器与群集中的“领导者”交换信息的端口；当领导者失效后，D表示用来执行选举时服务器相互通信的端口。

接下来，在配置的dataDir目录下创建一个myid文件，里面写入一个0-255之间的一个随意数字，每个zk上这个文件的数字要是不一样的，这些数字应该是从1开始，依次写每个服务器。文件中序号要与dn节点下的zk配置序号一直，如：server.1= dn1 :2888:3888，那么 dn1节点下的myid 配置文件应该写上1。

2 .7.2启动

分别在各个dn节点启动zk进程，命令如下：

bin / zkServer . sh start

然后，在各个节点输入jps命令，会出现如下进程：

QuorumPeerMain

2.7.3验证

上面说的输入jps命令，若显示对应的进程，即表示启动成功，同样我们也可以输入zk的状态命令查看，命令如下：

bin / zkServer . sh status

会出现一个leader和两个follower。

2.8HDFS＋HA的结构图

HDFS配置HA的结构图如下所示：

配置高可用的Hadoop平台

上图大致架构包括：

1. 利用共享存储来在两个NN间同步edits信息。以前的HDFS是share nothing but NN，现在NN又share storage，这样其实是转移了单点故障的位置，但中高端的存储设备内部都有各种RAID以及冗余硬件，包括电源以及网卡等，比服务器的可靠性还是略有提高。通过NN内部每次元数据变动后的flush操作，加上NFS的close-to-open，数据的一致性得到了保证。

2. DN同时向两个NN汇报块信息。这是让Standby NN保持集群的最新状态的必须步骤。

3. 用于监视和控制NN进程的FailoverController进程。显然，我们不能在NN进程内部进行心跳等信息同步，最简单的原因，一次FullGC 就可以让NN挂起十几分钟，所以，必须要有一个独立的短小精悍的watchdog来专门负责监控。这也是一个松耦合的设计，便于扩展或更改，目前版本里是用ZooKeeper（简称ZK）来做同步锁，但用户可以方便的把这个Zookeeper FailoverController（简称ZKFC）替换为其他的HA方案或leader选举方案。

4. 隔离（Fencing），防止脑裂，就是保证在任何时候只有一个主NN，包括三个方面：

 共享存储fencing，确保只有一个NN可以写入edits。

 客户端fencing，确保只有一个NN可以响应客户端的请求。

 DN fencing，确保只有一个NN向DN下发命令，譬如删除块，复制块等等。