转载

从swarm到kubernetes Docker容器云实践

kubernetes 与swarm 比较

优点

复制集与健康维护
服务自发现与负载均衡
灰度升级
垃圾回收自动回收失效镜像与容器
与容器引擎解耦不仅仅支持docker容器
用户认证与资源隔离

缺点

大而全意味着复杂度较高从部署到使用都比swarm 复杂的多

相对而已swarm比较轻量级而且跟docker引擎配合的更好

从精神上我是更支持swarm 奈何现在功能太欠缺

几天前发布了一个 SwarmKit的管理功能功能多了不少

待其完善以后可以重回swarm的怀抱

k8s 安装过程

测试环境阿里云 ubuntu 14.04

自动方式

会自动下载安装文件到各个集群并配置

直接看官方文档就行了写的很清楚

要先设置好ssh免密码登录

注意自动下载的地址都是需要翻墙的

可以改一下脚本文件里的地址

http://kubernetes.io/docs/gett ... untu/

Docker容器方式安装

还在研究阶段官方支持不好有很多问题

容器跟平台无关方便升级

以后的版本可能会更好的支持

手动方式

为了了解一下Kube的几个组件

我们这里重点介绍一下手动安装的方式

安装节点

安装 NODE1 NODE2 2个不同主机节点

下文命令中替换为相应ip地址

1.下载安装包

etcd-v2.3.3

flannd-v0.5.5

kubenetes-v1.2.3

解压并复制采用命令到 /usr/bin 方便操作

作用解析

etcd 为k8s提供存储功能和强一致性保证

flannd 打通容器间网络可实现容器跨主机互连

2.启动etcd

node1 
 etcd -name k8s-etcd0 -initial-advertise-peer-urls http://NODE1:2380 -listen-peer-urls http://NODE1:2380 /
 
 -listen-client-urls http://NODE1:2379,http://127.0.0.1:2379 -advertise-client-urls http://NODE1:2379 /
 
 -discovery https://discovery.etcd.io/8a5ff5c9ca76877c2efd7ba3c589a110 --data-dir /mnt/k8s/flanneldata 
 
 node2
 etcd -name k8s-etcd1 -initial-advertise-peer-urls http://NODE2:2380 -listen-peer-urls http://NODE2:2380 /
 
 -listen-client-urls http://NODE2:2379,http://127.0.0.1:2379 -advertise-client-urls http://NODE2:2379 /
 
 -discovery https://discovery.etcd.io/8a5ff5c9ca76877c2efd7ba3c589a110   --data-dir /mnt/k8s/flanneldata

etcd 也可以用docker 容器启动更方便一点

然后设置一下打通的内网网段范围

etcdctl set /coreos.com/network/config '{ "Network": "172.17.0.0/16" }'

3.启动flannel

```

setsid flanneld >> /mnt/k8s/logs/flanneld.log 2>&1

mk-docker-opts.sh -i

source /run/flannel/subnet.env

rm /var/run/docker.pid

ifconfig docker0 ${FLANNEL_SUBNET}

```

重启Docker

service docker restart

4.启动 k8s master

以一台主机为master

setsid ./kube-apiserver --address=0.0.0.0  --insecure-port=8080 --service-cluster-ip-range='192.168.0.0/16'  --log_dir=/mnt/k8s/logs/kube --kubelet_port=10250 --v=0 --logtostderr=false --etcd_servers=http://NODE1:2379 --allow_privileged=false  >> /mnt/k8s/logs/kube-apiserver.log 2>&1 
 
 setsid ./kube-controller-manager  --v=0 --logtostderr=false --log_dir=/mnt/k8s/logs/kube --master=127.0.0.1:8080 >> /mnt/k8s/logs/kube-controller-manager 2>&1 
 
 setsid ./kube-scheduler  --master='127.0.0.1:8080' --v=0  --log_dir=/mnt/k8s/logs/kube  >> /mnt/k8s/logs/kube-scheduler.log 2>&1

5.启动 k8s 子节点

node  1 
 setsid ./kube-proxy  --logtostderr=false --v=0 --master=http://NODE1:8080   >> /mnt/k8s/logs/kube-proxy.log 2>&1 
 
 setsid ./kubelet  --logtostderr=false --v=0 --allow-privileged=false  --log_dir=/mnt/k8s/logs/kube  --address=0.0.0.0  --port=10250  --hostname_override=NODE1  --api_servers=http://NODE1:8080   >> /mnt/k8s/logs/kube-kubelet.log 2>&1 &
 
 node 2
 setsid ./kube-proxy  --logtostderr=false --v=0 --master=http://NODE1:8080   >> /mnt/k8s/logs/kube-proxy.log 2>&1 
 
 setsid ./kubelet  --logtostderr=false --v=0 --allow-privileged=false  --log_dir=/mnt/k8s/logs/kube  --address=0.0.0.0  --port=10250  --hostname_override=121.40.84.254 --api_servers=http://NODE1:8080   >> /mnt/k8s/logs/kube-kubelet.log 2>&1 &

测试一下

kubectl run my-nginx --image=nginx --replicas=2 --port=800 --expose --service-overrides='{ "spec": { "type": "NodePort" } }'
 
 kubectl get po  //查看是否正常启动

**坑 **

pause gcr.io 被墙

image pull failed for gcr.io/google_containers/pause:2.0

使用docker hub的镜像代替

docker pull kubernetes/pause
 docker tag   kubernetes/pause gcr.io/google_containers/pause:2.0

K8s 核心概念简介

pod

k8s 中创建的最小部署单元就是pod

而容器是运行在pod里面的

pod可以运行多个容器

pod内的容器可以共享网络和存储相互访问

**replication controller **

复杂集控制器对多个pod创建相同的副本运行在不同节点

一般不会创建单独的pod而是与rc配合创建

rc控制并管理pod的生命周期维护pod的健康

service

每个容器重新运行后的ip地址都不是固定的

所以要有一个服务方向和负载均衡来处理

service就可以实现这个需求

service创建后可以暴露一个固定的端口

与相应的pod 进行绑定

K8s 核心组件简介

apiserver

提供对外的REST API服务运行在 master节点

对指令进行验证后修改etcd的存储数据

shcheduler

调度器运行在master节点

通过apiserver 定时监控数据变化

运行pod时通过自身调度算法选出可运行的节点

controller-manager

控制管理器运行在master节点

分别几大管理器定时运行分别为

1）replication controller 管理器

管理并保存所有的rc的的状态

2)service Endpoint 管理器

对service 绑定的pod 进行实时更新操作

对状态失败的pod进行解绑

3）Node controller 管理器

定时对集群的节点健康检查与监控

4）资源配额管理器

追踪集群资源使用情况

kuctrl （子节点）

管理维护当前子节点的所有容器

如同步创建新容器回收镜像垃圾等

kube-proxy （子节点）

对客户端请求进行负载均衡并分配到service后端的pod

是service的具体实现保证了ip的动态变化

proxy 通过修改iptable 实现路由转发

工作流程

DNS 插件安装

使用ip地址方式不太容易记忆

集群内可以使用dns绑定ip并自动更新维护

安装方式很简单调用一下脚本就可以了

cd cluster/ubuntu
 KUBERNETES_PROVIDER=ubuntu ./deployAddons.sh

问题是镜像地址会被墙需要修改一下脚本镜像地址

实践一下

下面我们来实践一下写个helloworld 运行一下

步骤为编写yaml文件--》》编写自动部署jenkins脚本 --》》push git仓库自动部署

首先要部署docker-jenkins 环境还没有部署的可以参考我上篇blog -》这里

首先创建一个docker-hello-world-rc.yaml 一个rc和 pod

apiVersion: v1
 kind: ReplicationController
 metadata:
 name: test-rc
 spec:
 replicas: 2
 selector:
 name: test
 version: VERSION
 template:
 metadata:
   labels:
     name: test
     version: VERSION
 spec:
   containers:
     - name: test
       image: IMAGE
       env:
        - name: "JAVA_OPTS"
          value: "-Duser.timezone=GMT+8"
       ports:
         - containerPort: 8080

再创建 docker-hello-world-svc.yaml 对外暴露服务

apiVersion: v1
 kind: Service
 metadata:
 name: test-svc
 spec:
 ports:
 - port: 20000
   targetPort: 8080
   protocol: TCP
 type: NodePort
 selector:
 name: test

在编写一下jenkins 的脚本