DockOne技术分享（十五）：如何在裸机下自动安装部署CoreOS + Kubernetes

【编者的话】给大家分享的主题是：如何在裸机下自动安装部署 CoreOS + Kubernetes。主要从背景、工作原理、具体过程、采过的坑四个方面来分享。

先介绍一下背景

随着光音业务规模的上升，线上业务产品的数量及服务器的采购量也越来越大。当达到一定数量级后，就不能使用常规的维护方法来解决这些问题。

以前，一旦业务量上去，我们就不得不停下手头的开发工作，部署业务所需要的环境及线上调试，到最后，只有特别熟悉业务和代码的同事才能胜任此工作。为了解决这些问题，我们从前年开始就关注了LXC，并试着小规模地使用了一段时间，但是由于LXC本身存在一系列的问题，比如内核版本的限制及二次开发困难，没能大规模地推广。

后来随着Docker的发展及火热，我们也接触到了CoreOS，它的AB分区升级特性特别吸引人。使用后才发现，跟宣传写的不一样，还是需要重启服务器才能升级内核的，但是总的来说，结合Fleet的使用，可以动态地把业务迁到其它服务器，来达到平滑升级的目的，因此还是非常不错的。

我是从开发转到基础平台维护岗位的，所以，希望用开发的方式来解决运维的问题，并想通过改变运维的方式的来加快业务研发的速度。但是真正专职做平台开发后，才意识到搭建整个运维体系是多么困难的事。所以，为了更快地构建我们的平台，业务的选型首选开源框架，然后再它的基础上，根据业务的需要做二次开发。借着Google的名气以及相对完善的生态圈，我们最终选择了Kubernetes + Coreos + Docker，做为整个平台编排调度的基础。

我们每次采购机器，一般都是几百个节点，所以整个平台的部署就非常头疼，特别是CoreOS和Kubernetes，必须借助梯子才能安装和更新，让人非常不爽。前期的大部分时间都浪费在这上面了！

于是，写了一个简单的Yoo-Installer工具来解决这些问题，现在分享给大家。

由于想呈现最简单便捷的安装方式，结果没把握好时间，这次的分享准备不足，所以你们可以多提问，我多分享一些采过的坑。

项目代码我放到 github 上了，代码还在不断完善中，如果有问题，可以直接在上面提Issue。另外，我们组的一个同事赵文来也贡献k8s-client 的Nodejs版本，一并分享给大家： https://github.com/Goyoo/node-k8s-client ，希望能跟大家一起打造美好的Docker生态圈。

下面介绍Yoo-Installer是如何工作的

它共分为DHCP Service, TFTP Service, HTTP Service, 其中HTTP Service 里包括了Coreos 的引导，安装到硬盘，Kubernetes的安装及其它服务脚本的初始化。

在这里需要分享几个点：

服务器的IP。在安装服务器前，应该确定好服务器的IP，因为IP在后面的安装是一个非常重要的变量。比如etcd的service IP，Kubernetes的Master IP都需要写入到配置里的。

我们是这样做的：我们的服务器是高密度刀片服务器，都配有管理模块。通过一些简单的API调用，就可以得到所有的网卡mac信息，与KVM的IP保持一定的逻辑关系，这样就可以保证服务器的IP有序，便于日后的管理与维护。（可以参考Yoo-installer项目的app/utils/IPMI/dhcpMacList.js，通过这段代码得到dhcpd所需要的配置格式，直接使用即可）。

CoreOS集群的安装方式：

我们专门做了一个菜单，以满足各种场景部署的需要。

在Yoo-Installer里，我分了6个菜单，适合四种使用场景。

分别对应于官方的CoreOS集群架构

• Docker Dev Environment on Laptop
• Small Cluster
• Easy Development/Testing Cluster
• Production Cluster with Central Services

参考： CoreOS Cluster Architectures

第一种，就是开发环境的方式。我们在开发时，可以使用这种方式来开发。

小规模集群的方式。每个节点都安装了etcd服务，任何一个节点故障都不会影响整体服务。

开发测试集群。这种方式的优点是不用额外部署etcd服务，需要几个节点来测试，就加入几个，非常灵活。但是不是高可用的架构。因为如果etcd死了，整体集群就不能工作了。所以，非常适合开发测试使用。

线上生产环境集群架构。这种基本上就可以做到高可用了。不同服务资源之间可以使用Meta信息进行标识。

这些代码是如何实现的呢

主要是通过cloud-config-url参数的设置来改变不同的启动脚本，如cloud-config-url= http://192.168.1.10/config/develop-etcd/pxe.yml

注意，这里面有一个技巧。默认的话，coreos是没有密码的。有时安装时会出现一些问题，我会在启动参数里加上coreos.autologin标记，这样引导后，就可以直接进入系统，然后查找问题了。

详见代码： https://github.com/Goyoo/yoo-i ... fault

这样，我们就能顺利启动系统了。

启动后，我们需要安装系统到硬盘，下载并安装Kubernetes，并初始化一些系统环境等等。

这样是怎么做的呢?

先看代码

这里我们在cloud-config-url里自定义了一个服务，叫setup.service。等系统启动后，会下载相应的脚本:pxe.sh

详见代码：

https://github.com/Goyoo/yoo-i ... e.ejs

脚本分为几个部分

1. 同步系统时间，新机器可能时钟有问题，这样会导致coreos不能正常安装
2. 硬盘分区，这个要根据自己的机器情况进行处理
3. 系统的安装
4. 离线下载已经准备好的Kubernetes，并放到相应的系统目录里
5. 其它脚本
6. 通知Yoo-Installer已经安装完成并重启

那么，我们对于Kubernetes是如何自动处理的呢。

在CoreOS里，有一个Cloud-init文件，在每次系统启动时，它便会自动执行。我们利用了这个文件，自动搭建了Kubernetes的服务。

比如这个Central的YAML文件： https://github.com/Goyoo/yoo-i ... l.ejs

在这个配置文件里，有以下几个部分

这些服务的配置会自动创建相应的service文件。

我们也可以直接写文件，比如dns的配置，”search localhost” ,我在coreos-init里就没找到对应的功能配置key，只有写文件了。

这里有几个需要注意的地方

服务器不建议用DHCP动态分配IP，就算是MAC绑死的也不好。我们出过一次故障，DHCP服务异常，导致业务网络中断。

关于cloud-init文件， CoreOS 提供了coreos-cloudinit的方法，可以做validate 。如果自己修改了init文件，最好检验一下，不然只有重启后才能发现问题。

coreos-cloudinit不加validate参数，还可以执行，像写文件之类的操作，直接就可以看到结果。

关于CoreOS自动下载更新。像我们这样自建机房的，最郁闷了，不像一些国外的公有云那么方便，直接可以下载更新。怎么做呢？首先，你要有个梯子，然后通过专门设置update 的service，加上ALL_PROXY，就可以自动更新了！

为了更便捷的使用Yoo-Installer，我计划做二个版本，一个是VM版本的，下载后，直接可以用，另一个是Docker版本的。由时准备不足，没有做完，但是因为我自己也需用，所以我会继续完善！

这里要吐个嘈。我在封装DHCPD时，因为桥接的问题，docker里面的广播根本发不出来。如果您有高招，请告诉我，我会请你吃饭哦~

对于Yoo-Installer，为了便于使用，我们专门做了一个UI，功能还不丰富，希望大家能积极提意见，欢迎PR。

Q& A

Q：我有一个问题，刚好刚才问了一个Kubernetes创建pod，要从gcr.io下载image，被墙了，这个你们怎么解决呢？

A： 这个有二个方法。

1. 使用国外的服务器下载好一个tar包，然后下过来，load进来。

2. 修改tag, 在hub.docker.com里google好像有这个镜像，下载好后，修改成gc.io的tag

我在项目里放了一个tar包。

Q： cores的pxe是什么？

A：PXE功能是由主板提供的吧。

Q：节点=服务器？梯子？

A：我们有几个管理服务器，做为节点进行proxy。如果需要的话，就在特定的程序变量里加ALL_PROXY. 这样做，也不会影响正常的网络。

Q：网络模型怎么选?桥接，同网段大网？OpenvSwitch？

A： 我们目前用的是Flannel，这个是CoreOS自带的。

Q：怎么考虑网络？

A：网络目前使用的就是Flannel，同上一个问题。

Q：yoo installer做为开发开发人员的开发环境有什么可以分享的吗？

A： 我觉得如果仅仅开发使用，可能不太适合。因为这个是为批量安装部署设计的。如果是开发后的压测，倒是可以考虑使用啊，因为想安装的话，放到安装网络环境里就可以了。

Q：请问有对K8S的API调用做限制类吗？

A：你是指限制资源吗？在配置文件里做就可以了啊。如果还有API的问题，可以与我的同事探讨一下：@Moon@北京-Goyoo 。

Q：最小集群的话一般需要几台VM？

A： 这个要看你的业务场景。我不知道你是不是指Small Cluster, 上面有图，需要3~5个即可。

**Q：关于K8S的使用，RC，Services是否做了权限分配？

A： 因为我们是自己的私有云，没有权限的分配。

Q：从Docker容器,pod.到service,的网络是如何走的，有用dns吗？

A：首先我们自己有一个内网的DNS，k8s也提供了DNS的功能。

Q： 我用虚拟机，里面跑了CoreOS , 3台机器组成一个小集群可以吗？

A： 当然可以啊。集群组建有三种方式，如果你是自己玩玩，建议使用DiscoveryID的方法。

Q：今天说容器动态IP分配不好，那你们实际生产中如何做的呢？

A：直接写Static IP. 在初始化安装时，已经通过mac绑定上IP，然后通过IP这个变量写到文件里，做成static IP。

Q：CoreOS 本身也是操作系统吗？跟虚机有啥区别呢，是安装更方便，还是本身比较简单？

A： CoreOS比较轻，而且默认没有包管理器，也就是不能随便安装东西。这样最大的好处是底层没有任何依赖。而且可以自动升级。当然还有其它优点，你可以看一下官方的介绍。

Q： 环境中存在其他dhcp服务，你们检测么？

A：因为是自建机房，都是我们自己维护的，自己对拓扑很清楚。目前没有检测。

A：我也只是抱着试试用的态度，有些特性很吸引人。我们公司的文化是这样的，鼓励试错，不怕出错。所以有什么问题，只有用了才知道。不过，确实有很多坑。

Q： 还有，按你之前提到的有使用dhcp.server，想问下你们部署完后的测试环境，IP地址还能更改吗？

A：可以改啊，只要改IP的配置文件就可以了。一般安装后就不改了。我们自己也做了指修改工具，如果好用的话，也可以分享出来给大家。

Q： 这个coreos 系统是怎么实现的？

A：我直接放代码了啊。有一个菜单库，我直接拿来用了

Q： 你们应该是实现了一个裸机安装os,然后部署k8s点东西吧,为啥没有用puppet或者installer这些来做k8s？

A：因为整合成一套了啊，插上网线，上电，系统就安装好了。

Q： 嘉宾，你之前提到你们使用DHCP出过事故，能详细说一下吗？

A： 因为硬件故障，导致DHCP不能广播。

Q： 非CoreOS的系统有考虑支持吗？

A：我先把这个完善了吧，完善好之后再说。欢迎PR啊，目前我们组严重缺人，没有精力做太多，只能在自己的工作范围内，顺便把代码开源了。

Q： 请问整个集群中网络模式使用的是什么vxlan？网络服务用的flannel还是pipework？

A：Flannel

Q： 引导coreOS 时使用HTTP service作用是？

A： 下载自动安装脚本，下载k8s的东西，并做一些统计，衔接整个自动安装过程。

Q： 如果环境做成IPv6,现在这套软件可以直接用吗?

A：应该没有问题啊

Q： 问个问题，那以后技术选型的话会继续目前的kubernetes还是会有别的？后续有什么计划或是目前有什么不足后续打算改进的地方？

A：我们暂时使用k8s。目前没有自动调度，也就是根据历史监控数据进行学习，完成一些自动扩容及缩容。其于此，还可以继续完善数据平台。

Q: 想问下，部署玩之后DHCP服务器挂掉了的话，怎么处理不让已部署的环境掉线？

A: DHCP可以做热备方案，已经部署的，我们已经做成Static IP了，所以不会掉线

Q： 使用pod为啥对单独的容器分配ip k8s最小调度单位不是pod吗？对容器分配ip还有意义吗？

A： Yoo-Installer的IP分配是物理机，pod里有自己的一套overlay

Q： flannel方式下容器IP跟宿主机IP在一个网段吗？

A：不在同一个网络。各自管理自己的。

Q： 硬件故障可能是coreos硬件驱动问题吧，你们是重启解决的还是重新部署？

A： 因为机器多了，故障也会显得多一些。节点的挂机，不会影响正常的业务运转，这就是使用docker的好处啊。有些故障解决不了，我就直接关机。

Q： 我找到办法了，先pull下来的同名的（国内可访问的）image，然后用#docker tag 命令改成gcr.io的tag就可以了。

A：这种最方便了。

Q： 整个安装过程是自动化的进度怎么掌握？

A： 在安装完成后，会有一个成功的请求到Yoo-Cloud，通过这种方式来统计。

Q： 已经部署的改成静态IP不是得一个容器一个容器的改啊？

A： 有一套自动的脚本，只需要取出当前机器应该分配的IP即可。

Q： k8s自带ui用到了吗？如何？

A：不好用，功能简单。

Q： 请问这个能部署在云主机里不？

A：云主机提供商，大部分都支持COREOS了吧。具体的情况，我还真没测试过

Q： 他们没有把os安装和服务部署分开！现在应该很少自己公司产品用。

A：我们做的是私有混合云，服务的部署是另一套编排工具。

Q： 网络规划的时候没有吧ip和端口绑定？还需要用yoo_install分配ip给物理机？

A：没有。那样做网络更加复杂，在我们的应用场景下，偏向于大二层。

Q： flannel 容器到 host 能不能通信？

A：可以通信啊，你需要用来做什么？

Q： 这套里面你们都跑哪些应用呢？

A:：我们公司里的大部分业务，目前正在努力推进Micro-services。

Q：k8s对外发布服务时像端口规划如何处理？

A：我们会规定一些port，因为我们业务还算单一，主要就是http和部分tcp。

Q： 之前应用分布多台云主机上，端口比较统一，放k8s集群，如何处理？

A：他们在flannel里，都是不同的ip了，所以不会出现端口重复的问题。

Q： 还有k8s的集群的loadbanlce 如何做？

A：本身不支持吧，需要自己完成相应功能。他们把这部分设计成了plugin的形式。

Q： 请问碰到过手机服务 TCP 长连接被中断问题么？

A： 我们也有长连接，不过目前没放到coreos里。对于移动端，中间很常见的吧。

Q： 应用部署用的是？Chef/Puppet？

A：目前尽量使用docker, 除了一些编排类的工具。因为coreos本身安装东西就不方便，而且为了减少底层依赖。还有一个想法，热备放到公有云上，这样未来就不用考虑这些依赖了。一些简单的，使用Fleet Global的形式，全局跑一个脚本的体验也很爽。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

以上内容根据2015年8月4日晚微信群分享内容整理。分享人 王鹏（Tad），光音网络资深研发经理，云平台负责人，专注于Docker的研究与推广。目前负责云平台的研发工作，积极打造基于Docker的资源自动调度，自动化构建和测试，推进产品的容器化及微服务化。 DockOne每周都会组织定向的技术分享，欢迎感兴趣的同学加微信：liyingjiesx，进群参与，您有想听的话题可以给我们留言。