转载

DockOne微信分享（五十三）：基于docker+kubernetes的一站式运维管理实践

【编者的话】本文按照从整体架构到功能模块的顺序为我们讲述了搜狐自动化运维平台DomeOS，实现用户私有集群的容器化管理和资源智能分配

@Container容器技术大会将于6月4日在上海光大会展中心国际大酒店举办，来自Rancher、携程、PPTV、蚂蚁金服、京东、浙江移动、海尔电器、唯品会、eBay、道富银行、麻袋理财、土豆网、阿里百川、腾讯游戏、点融网、华为等公司的技术负责人将带来实践经验分享，4月7日之前购票只需338元，欢迎感兴趣的同学抢购。

项目简介

2015年下半年，搜狐北京研发中心基于docker和kubernetes开发了一套企业级的一站式运维管理系统——DomeOS。该系统是一个持续交付和自动运维平台，解决用户从代码自动编译打包，到线上运行维护的全套需求，采用私有云模式，实现了用户私有集群的容器化管理和资源智能分配。

整体架构：

DockOne微信分享（五十三）：基于docker+kubernetes的一站式运维管理实践

DomeOS server是整个系统的控制模块，前端和所有逻辑控制均在这部分实现。

Mysql用来存储项目、部署、用户、监控等数据信息

Server可以关联到代码仓库，目前支持gitlab和svn。

Registry是docker提供的开源私有仓库，我们对它进行了改造，可以对接到搜狐云台的存储系统，保证了镜像的安全性和可靠性。

资源分配、任务调度部分交给kubernetes来完成。

监控部分融合了open-falcon和cadvisor，实现了主机和容器多个维度信息的收集展示。

另外，为了方便研发及运维同学在部署过程中快速定位问题，加入了webssh模块，能够通过网页直接进入到容器内部查看信息。domeos支持ldap登录，方便企业用户使用。

功能模块：

DomeOS提供了项目管理、持续集成、部署管理、镜像管理、集群管理、应用商店、用户和组管理以及多层级监控服务。以下是功能模块图：

DockOne微信分享（五十三）：基于docker+kubernetes的一站式运维管理实践

其中项目管理、集群管理和部署是比较重要的功能。

项目管理中包含了持续集成，设计方案如下：

DockOne微信分享（五十三）：基于docker+kubernetes的一站式运维管理实践

用户在代码仓库的操作，通过webhook将操作信息发送给DomeOS server，server根据项目关联配置信息确认是否满足构建任务的出发条件，如果满足，Domeos server下发构建任务给kubernetes master，master挑选符合条件的slave启动构建镜像，该镜像从代码仓库中下载代码，根据对应的dockerfile执行构建，构建生成的镜像被push到代码仓库中，然后反馈构建日志及结果给domeos server，server在仓库中确认过镜像信息后，将构建结果写入到数据库中。

集群管理部分，我们将一套kubernetes部署作为一套集群，添加集群是配置kubernetes master信息的过程，用户可以在DomeOS中添加多套集群。

DockOne微信分享（五十三）：基于docker+kubernetes的一站式运维管理实践

当master信息配置完成后，我们提供了添加node的脚本。对于一套集群，网络部分采用flannel进行管理，每个node上启动agent上报监控信息并用于webssh登录。用户可以通过为主机添加namespace和label进行资源和环境的隔离。

部署管理部分

部署启动在一个集群上，采用kubernetes pod的概念，每个部署都从一个或多个镜像创建，可以对每个镜像配置cpu和内存限制，可以在pod中配置一个或多个日志收集模块，该部分用flume实现，日志收集到kafka中。网络部分目前支持overlay和host两种模式，overlay模式的负载均衡用kubernetes的service实现，host模式的负载均衡通过confd+nginx来实现。同一套集群的部署之间可以通过内网域名互相访问，这部分通过skyDNS和kube2sky来实现。

DockOne微信分享（五十三）：基于docker+kubernetes的一站式运维管理实践