Haproxy+PXC实现负载均衡

软件负载均衡一般通过两种方式来实现：基于操作系统的软负载实现和基于第 三方应用的软负载实现。

LVS就是基于Linux操作系统实现的一种软负载，HAProxy就是开源的并且基于第三应用实现的软负载。

HAProxy相比LVS的使用要简单很多，功能方面也很丰富。当前，HAProxy支持两种主要的代理模式:"tcp"也即4层（大多用于邮件服务器、

内部协议通信服务器等），和7层（HTTP）。在4层模式下，HAproxy仅在客户端和服务器之间转发双向流量。7层模式下，HAProxy会分析协议，

并且能通过允许、拒绝、交换、增加、修改或者删除请求(request)或者回应(response)里指定内容来控制协议，这种操作要基于特定规则。

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于

那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的

运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。

环境情况：

OS:centos release 6.6

pxc三个节点:192.168.79.3:3306、192.168.79.4:3306、192.168.79.5:3306

HAPproxy节点：192.168.79.128 (已搭建完成)

HAproxy版本：1.5.2

PXC集群安装完成后，需要一个负载均衡器来分发连接，我们这里采用haproxy，这也是percona推荐的方式

一、安装haproxy(仅安装在haproxy的节点上，如果安装在pxcmysql节点注意端口号)

wget http://www.haproxy.org/download/1.5/src/haproxy-1.5.2.tar.gz

#tar -zxvf haproxy-1.5.2.tar.gz

#cd haproxy-1.5.2

#make TARGET=linux2628

#make install

ps：默认安装到/usr/local/sbin/下面，可以用PREFIX指定软件安装路径

二、在haproxy服务器上安装配置HAproxy

配置文件存/etc/haproxy/haproxy.cfg 内容如下：

#mkdir /etc/haproxy

# cp examples/haproxy.cfg /etc/haproxy/

# cat /etc/haproxy/haproxy.cfg

global #全局参数

log 127.0.0.1 local0 #定义日志输出到哪里，以及日志级别，格式log <address> <facility> [max level [min level]] ，

#使用ip地址，默认使用udp 514端口，可以配置两种日志，一种进程启动和退出，一种代理日志

log 127.0.0.1 local1 notice

maxconn 4096 #每个进程的最大并发连接数

#ulimit-n 10240 #每个进程的文件描述符，默认根据maxconn值自动计算

#chroot /usr/share/haproxy #安全目录，需要root权限启动haproxy

uid 99 #进程的用户ID，必须使用root用户运行，交换到指定的用户，也可以使用user

gid 99 #进程的组ID，也可以使用group指定组名

daemon #后台运行，等同于命令行参数-D

#nbproc 2 多进程模式，默认只开启一个进程

pidfile /var/run/haproxy/haproxy.pid

#stats socket /var/run/haproxy/haproxy.sock level operator #能接收各种状态输出，以及能接收命令输入

#debug

#quiet

defaults

log global #使用global段的日志定义

mode http #设置实例运行模式或协议，支持http、tcp和health，frontend和backend要一致

option tcplog #启用记录tcp连接的日志，包含会话状态和时间，连接数，frontend、backend和server name，源地址和端口，当使用tcp模式时能找出客户端、服务器断开连接或超时。

option dontlognull #不记录来自监控状态检查的空连接

retries 3 #连接错误后，重传次数

option redispatch #连接错误，启用会话重新分配

maxconn 2000

timeout connect 5000 #单位为毫秒，等待成功连接到服务器的最大时间值

timeout client 50000 #设置在客户端侧的最大不活跃时间值，在TCP模式，最好跟服务器侧一致

timeout server 50000 #设置在服务端侧的最大不活跃时间值，

frontend pxc-front #描述允许客户端连接的监听套接字

bind *:3306

mode tcp

default_backend pxc-back #当没有匹配use_backend时，默认的backend

frontend stats-front

bind *:8088

mode http

default_backend stats-back

backend pxc-back #描述进来的连接将转发到哪些后端服务器

mode tcp

balance leastconn #负载均衡算法，使用最少连接算法，适合长连接应用

option httpchk #启用HTTP协议检查服务器监控状态，通过调用脚本检查节点的状态

server node1 10.0.60.3:3306 check port 9200 inter 12000 rise 3 fall 3

server node2 10.0.60.4:3306 check port 9200 inter 12000 rise 3 fall 3

server node3 10.0.60.5:3306 check port 9200 inter 12000 rise 3 fall 3

#ps：#fall连续3次检查错误后，将表明服务器死亡，默认为3；inter连续两次检查的间隔时间值，单位为毫秒，默认为2s；rise连续3次检查成功，表明服务可用

#option mysql-check user haproxy_check #使用Mysql健康检查，不检查数据库和数据一致性，需要在mysql上创建相应的检查帐户

#server node1 10.0.60.3:3306 check

#server node2 10.0.60.4:3306 check

#server node3 10.0.60.5:3306 check

backend stats-back #开启haproxy的状态页面

mode http

balance roundrobin

stats uri /haproxy/stats #定义访问统计信息的URI

stats auth admin:admin #设置查看haproxy状态统计信息的用户名和密码

配置haproxy的日志：

安装完HAProxy后，默认情况下，HAProxy为了节省读写IO所消耗的性能，默认情况下没有日志输出，一下是开启日志的过程

# rpm -qa |grep rsyslog

rsyslog-5.8.10-8.el6.x86_64

# rpm -ql rsyslog |grep conf$

# vim /etc/rsyslog.conf

...........

$ModLoad imudp

$UDPServerRun 514 //rsyslog 默认情况下，需要在514端口监听UDP，所以可以把这两行注释掉

.........

local0.* /var/log/haproxy.log //和haproxy的配置文件中定义的log level一致

# service rsyslog restart

Shutting down system logger: [ OK ]

Starting system logger: [ OK ]

# service rsyslog status

rsyslogd (pid 11437) is running...

三、在每个PXC 每个mysql节点安装mysql健康状态检查脚本：

1）脚本拷贝

# cp /usr/local/mysql/bin/clustercheck /usr/bin/

# cp /usr/local/mysql/xinetd.d/mysqlchk /etc/xinetd.d/

2）创建mysql用户，用于mysql健康检查（在任一节点即可）：

> grant process on *.* to 'clustercheckuser'@'localhost' identified by 'clustercheckpassword!';

> flush privileges;

ps：如不使用clustercheck中默认用户名和密码，将需要修改clustercheck脚本，MYSQL_USERNAME和MYSQL_PASSWORD值

3）更改/etc/services添加mysqlchk的服务端口号：

# echo 'mysqlchk 9200/tcp # mysqlchk' >> /etc/services

4）安装xinetd服务

# yum -y install xinetd

# /etc/init.d/xinetd restart

Stopping xinetd: [FAILED]

Starting xinetd: [ OK ]

# chkconfig --level 2345 xinetd on

# chkconfig --list |grep xinetd

xinetd 0:off 1:off 2:on 3:on 4:on 5:on 6:off

测试检测脚本：

# clustercheck

HTTP/1.1 200 OK

Content-Type: text/plain

Connection: close

Content-Length: 40

# curl -I 192.168.79.5:9200

HTTP/1.1 503 Service Unavailable

Content-Type: text/plain

Connection: close

Content-Length: 57

# cp /usr/local/mysql/bin/mysql /usr/bin/

# curl -I 192.168.79.5:9200

HTTP/1.1 200 OK

Content-Type: text/plain

Connection: close

Content-Length: 40

在mysql集群的其他节点执行上面操作，保证各个节点返回状态为200，如下：

# curl -I 192.168.79.4:9200

HTTP/1.1 200 OK

Content-Type: text/plain

Connection: close

Content-Length: 40

# curl -I 192.168.79.5:9200

HTTP/1.1 200 OK

Content-Type: text/plain

Connection: close

Content-Length: 40

四、HAproxy启动和关闭

在haproxy服务器上启动haproxy服务:

# /usr/local/sbin/haproxy -f /etc/haproxy/haproxy.cfg

关闭：

#pkill haproxy

# /usr/local/sbin/haproxy -f /etc/haproxy/haproxy.cfg

# ps -ef |grep haproxy

nobody 5751 1 0 21:18 ? 00:00:00 /usr/local/sbin/haproxy -f /etc/haproxy/haproxy.cfg

root 5754 2458 0 21:19 pts/0 00:00:00 grep haproxy

]# netstat -nlap |grep haproxy

tcp 0 0 0.0.0.0:8088 0.0.0.0:* LISTEN 5751/haproxy

tcp 0 0 0.0.0.0:3307 0.0.0.0:* LISTEN 5751/haproxy

tcp 0 0 0.0.0.0:3308 0.0.0.0:* LISTEN 5751/haproxy

udp 0 0 0.0.0.0:45891 0.0.0.0:* 5751/haproxy

五、haproxy测试

在mysql pxc创建测试账号：

#grant all privileges on *.* to 'taotao'@’%’ identified by ‘taotao’;

#for i in `seq 1 1000`; do mysql -h 192.168.79.128 -P3307 -utaotao -ptaotao -e "select @@hostname;"; done

#for i in `seq 1 1000`; do mysql -h 192.168.79.128 -P3308 -utaotao -ptaotao -e "select @@hostname;"; done

查看Haproxy状态：

http://192.168.199.75:8088/haproxy/stats

输入用户密码：stats auth admin admin

补充内容：

1、haproxy可以安装在mysql集群节点，但需要将mysql节点监听在非3306端口，以让haproxy监控在3306端口；

2、为了保证haproxy的高可用，可以结合keepalived；

3、可以使用haproxy做mysql只读库的负载均衡；