转载

一个混合（IBM Power 和 x86）架构场景中的 Mesos 和 Kubernetes

关于 Mesos 和 Kubernetes

目前，有多种用于 Linux® 的流行的容器集群系统，比如 Kubernetes、Mesos 等。Google Kubernetes 和 Apache Mesos 可能将容器部署到容器内的两个最常用的工具。二者都被创建为辅助工具，用于管理容器集群。但是，它们的方法有很大区别。

我们的客户始终有一个包含 IBM® Power® 和 x86 的混合架构。所以，本文将提供将 Mesos 和 Kubernetes 应用于混合架构（包括 Power 和 x86）环境上的 Linux 中的参考解决方案。

请参见图 1，以便了解这个参考架构。

图 1. 混合（Power 和 x86）架构上的 Kubernetes 和 Mesos 的架构图

一个混合（IBM Power 和 x86）架构场景中的 Mesos 和 Kubernetes

一个混合（IBM Power 和 x86）架构场景中的 Mesos 和 Kubernetes

部署

现在让我们在混合架构上设置和部署 Mesos 和 Kubernetes 的 Docker 集群。在这里，我们将对主节点中的每个模块使用 Docker 镜像。

前提条件

  • 了解 Mesos、Kubernetes 和 Docker
  • 一个混合架构集群，其中包含：
    • Linux 终端、Docker 和 git
    • 至少 4 个 x86 节点和 1 个 IBM Power 节点
  • 禁用每个节点中的防火墙

环境

我们至少需要 3 个包含 CentOS 7.2 的节点，以便安装 ZooKeeper 集群、Mesos 主集群、etcd 集群和 Kubernetes-Mesos 集群。

  • 192.168.1.2 (x86)
  • 192.168.1.3 (x86)
  • 192.168.1.4 (x86)

我们需要至少两个包含 CentOS 7.2 的节点来安装 Mesos 从属集群。

  • 192.168.1.5 (x86)
  • 192.168.1.6 (IBM Power)

部署 ZooKeeper 集群

使用根用户特权执行以下步骤，以便部署 ZooKeeper 集群：

在 192.168.1.2 中：

docker run -d / 
				-e MYID=1 / 
				-e SERVERS=192.168.1.2,192.168.1.3,192.168.1.4 / 
				--name=zookeeper --net=host --restart always powerkvm/zookeeper-x86

在 192.168.1.3 中：

docker run -d /
					-e MYID=2 /
					-e SERVERS=192.168.1.2,192.168.1.3,192.168.1.4 / 
					--name=zookeeper --net=host --restart always powerkvm/zookeeper-x86

在 192.168.1.4 中：

docker run -d /
					-e MYID=3 / 
					-e SERVERS=192.168.1.2,192.168.1.3,192.168.1.4 /
					--name=zookeeper --net=host --restart always powerkvm/zookeeper-x86

部署 Mesos 主集群

使用根用户特权执行以下步骤，以便部署 Mesos 主集群：

在 192.168.1.2 中：

docker run -d -e MESOS_HOSTNAME=192.168.1.2 -e MESOS_IP=192.168.1.2 -e MESOS_QUORUM=2 / 
					-e MESOS_ZK=zk://192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181/mesos / 
					--name mesos-master --net host --restart always powerkvm/mesos-master-x86

在 192.168.1.3 中：

docker run -d -e MESOS_HOSTNAME=192.168.1.3 -e MESOS_IP=192.168.1.3 -e MESOS_QUORUM=2 /
					-e MESOS_ZK=zk://192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181/mesos / 
					--name mesos-master --net host --restart always powerkvm/mesos-master-x86

在 192.168.1.4 中：

docker run -d -e MESOS_HOSTNAME=192.168.1.4 -e MESOS_IP=192.168.1.4 -e MESOS_QUORUM=2 /
					-e MESOS_ZK=zk://192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181/mesos /
					--name mesos-master --net host --restart always powerkvm/mesos-master-x86

部署 etcd 集群

使用根用户特权执行以下步骤，以便部署 etcd 集群：

在 192.168.1.2 中：

docker run -d -v /usr/share/ca-certificates/:/etc/ssl/certs -p 4001:4001 -p 2380:2380 -p 2379:2379 / 
				    --name etcd --restart always quay.io/coreos/etcd:v2.2.1 / 
				    -name etcd0 / 
				    -advertise-client-urls http://192.168.1.2:2379,http://192.168.1.2:4001 / 
				    -listen-client-urls http://0.0.0.0:2379,http://0.0.0.0:4001 / 
				    -initial-advertise-peer-urls http://192.168.1.2:2380 / 
				    -listen-peer-urls http://0.0.0.0:2380 /
				    -initial-cluster-token etcd-cluster-1 / 
				    -initial-cluster etcd0=http://192.168.1.2:2380,etcd1=http://192.168.1.3:2380,etcd2=http://192.168.1.4:2380/
				    -initial-cluster-state new

在 192.168.1.3 中：

docker run -d -v /usr/share/ca-certificates/:/etc/ssl/certs -p 4001:4001 -p 2380:2380 -p 2379:2379 / 
					--name etcd --restart always quay.io/coreos/etcd:v2.2.1 / 
					-name etcd0 /
					-advertise-client-urls http://192.168.1.3:2379,http://192.168.1.3:4001 / 
					-listen-client-urls http://0.0.0.0:2379,http://0.0.0.0:4001 / 
					-initial-advertise-peer-urls http://192.168.1.3:2380 / 
					-listen-peer-urls http://0.0.0.0:2380 /
					-initial-cluster-token etcd-cluster-1 / 
					-initial-cluster etcd0=http://192.168.1.2:2380,etcd1=http://192.168.1.3:2380,etcd2=http://192.168.1.4:2380/
					-initial-cluster-state new

在 192.168.1.4 中：

docker run -d -v /usr/share/ca-certificates/:/etc/ssl/certs -p 4001:4001 -p 2380:2380 -p 2379:2379 /
					--name etcd --restart always quay.io/coreos/etcd:v2.2.1 /
					-name etcd0 / 
					-advertise-client-urls http://192.168.1.4:2379,http://192.168.1.4:4001 / 
					-listen-client-urls http://0.0.0.0:2379,http://0.0.0.0:4001 / 
					-initial-advertise-peer-urls http://192.168.1.4:2380 / 
					-listen-peer-urls http://0.0.0.0:2380 /
					-initial-cluster-token etcd-cluster-1 / 
					-initial-cluster etcd0=http://192.168.1.2:2380,etcd1=http://192.168.1.3:2380,etcd2=http://192.168.1.4:2380/
					-initial-cluster-state new

部署 Kubernetes-Mesos 集群

使用根用户特权执行以下步骤，以便部署 Kubernetes-Mesos 集群：

将 apiserver、controller manager 和 scheduler 部署在 192.168.1.2 中：

  1. 将 mesos-cloud.conf 添加到 /mnt/k8s 中： 
    cat /mnt/k8s/mesos-cloud.conf
					[mesos-cloud]
					mesos-master = zk://192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181/mesos
  2. 运行每个 Docker 镜像。 
    docker run -d --privileged -v /mnt/k8s:/mnt/k8s --name apiserver --net=host --restart always powerkvm/k8s-mesos-x86:v1.4.0-alpha km apiserver /
					--address=192.168.1.2 /
					--etcd-servers=http://192.168.1.2:4001,http://192.168.1.3:4001,http://192.168.1.4:4001/
					--service-cluster-ip-range=10.10.10.0/24 / 
					--port=8888 / 
					--cloud-provider=mesos /
					--cloud-config=/mnt/k8s/mesos-cloud.conf / 
					--secure-port=0 / 
					--v=1 
					
					docker run -d --privileged -v /mnt/k8s:/mnt/k8s --name controller-manager --net=host --restart always powerkvm/k8s-mesos-x86:v1.4.0-alpha km controller-manager /
					--master=192.168.1.2:8888 / 
					--cloud-provider=mesos /
					--cloud-config=/mnt/k8s/mesos-cloud.conf /
					--v=1
					
					docker run -d --privileged --name scheduler --net=host --restart always powerkvm/k8s-mesos-x86:v1.4.0-alpha kmscheduler /
					--address=192.168.1.2 /
					--mesos-master=zk://192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181/mesos /
					--etcd-servers=http://192.168.1.2:4001,http://192.168.1.3:4001,http://192.168.1.4:4001/
					--mesos-user=root /
					--api-servers=192.168.1.2:8888 /
					--cluster-dns=10.10.10.10 /
					--cluster-domain=cluster.local /
					--v=2

将 apiserver、controller manager 和 scheduler 部署在 192.168.1.3 中：

  1. 将 mesos-cloud.conf 添加到 /mnt/k8s 中： 
    cat /mnt/k8s/mesos-cloud.conf
					[mesos-cloud]
					mesos-master = zk://192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181/mesos
  2. 运行每个 Docker 镜像： 
    docker run -d --privileged -v /mnt/k8s:/mnt/k8s --name apiserver --net=host --restart always powerkvm/k8s-mesos-x86:v1.4.0-alpha km apiserver /
					--address=192.168.1.3 /
					--etcd-servers=http://192.168.1.2:4001,http://192.168.1.3:4001,http://192.168.1.4:4001/
					--service-cluster-ip-range=10.10.10.0/24 /
					--port=8888 /
					--cloud-provider=mesos /
					--cloud-config=/mnt/k8s/mesos-cloud.conf /
					--secure-port=0 /
					--v=1
					
					docker run -d --privileged -v /mnt/k8s:/mnt/k8s --name controller-manager --net=host --restart always powerkvm/k8s-mesos-x86:v1.4.0-alpha km controller-manager /
					--master=192.168.1.3:8888 /
					--cloud-provider=mesos /
					--cloud-config=/mnt/k8s/mesos-cloud.conf /
					--v=1
					
					docker run -d --privileged --name scheduler --net=host --restart always powerkvm/k8s-mesos-x86:v1.4.0-alpha km scheduler /
					--address=192.168.1.3 /
					--mesos-master=zk://192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181/mesos /
					--etcd-servers=http://192.168.1.2:4001,http://192.168.1.3:4001,http://192.168.1.4:4001/
					--mesos-user=root /
					--api-servers=192.168.1.3:8888 /
					--cluster-dns=10.10.10.10 /
					--cluster-domain=cluster.local / 
					--v=2

将 apiserver、controller manager 和 scheduler 部署在 192.168.1.4 中：

  1. 将 mesos-cloud.conf 添加到 /mnt/k8s 中： 
    cat /mnt/k8s/mesos-cloud.conf
					[mesos-cloud]
					mesos-master = zk://192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181/mesos
  2. 运行每个 Docker 镜像： 
    docker run -d --privileged -v /mnt/k8s:/mnt/k8s --name apiserver --net=host --restart always powerkvm/k8s-mesos-x86:v1.4.0-alpha km apiserver /
					--address=192.168.1.4 /
					--etcd-servers=http://192.168.1.2:4001,http://192.168.1.3:4001,http://192.168.1.4:4001/
					--service-cluster-ip-range=10.10.10.0/24 /
					--port=8888 /
					--cloud-provider=mesos /
					--cloud-config=/mnt/k8s/mesos-cloud.conf /
					--secure-port=0 / 
					--v=1
					
					docker run -d --privileged -v /mnt/k8s:/mnt/k8s --name controller-manager --net=host --restart always powerkvm/k8s-mesos-x86:v1.4.0-alpha km controller-manager /
					--master=192.168.1.4:8888 /
					--cloud-provider=mesos /
					--cloud-config=/mnt/k8s/mesos-cloud.conf /
					--v=1 
					
					docker run -d --privileged --name scheduler --net=host --restart always powerkvm/k8s-mesos-x86:v1.4.0-alpha km scheduler /
					--address=192.168.1.4 /
					--mesos-master=zk://192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181/mesos /
					--etcd-servers=http://192.168.1.2:4001,http://192.168.1.3:4001,http://192.168.1.4:4001/
					--mesos-user=root /
					--api-servers=192.168.1.4:8888 /
					--cluster-dns=10.10.10.10 /
					--cluster-domain=cluster.local /
					--v=2

部署 Mesos 从属集群

用于 Mesos 从属节点的 Docker 镜像仍在测试中。所以，我们可以使用包来安装它。

将 Mesos 从属节点部署到 192.168.1.5 (x86) 中：

1. 安装 Mesos 从属节点。

rpm -Uvh http://repos.mesosphere.io/el/7/noarch/RPMS/mesosphere-el-repo-7-2.noarch.rpm && /
					yum -y install mesos

2. 配置 Mesos 从属节点。

#cat > /etc/mesos/zk <<EOF
					     zk://192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181/mesos 
					EOF 
					
					echo 192.168.1.5 | sudo tee /etc/mesos-slave/ip
					cp /etc/mesos-slave/ip /etc/mesos-slave/hostname

3.启动 mesos-slave 服务。

systemctl restart mesos-slave

将 Mesos 从属节点部署到 192.168.1.6(Power) 中：

  1. 添加存储库。 
    #cat > /etc/yum.repos.d/cluster.repo <<EOF 
					[cluster]
					name=cluster baseurl=http://ftp.unicamp.br/pub/ppc64el/rhel/7_1/misc_ppc64el/
					enabled=1
					gpgcheck=0
					priority=10
					sslverify=1
					EOF
  2. 安装 Mesos 从属节点。 
    yum -y install mesos-0.22.1 python-mesos

  3. 配置 Mesos 从属节点。

    编辑 /etc/sysconfig/mesos-slave 中的变量（下面已突出显示）：

    # This file contains environment variables that are passed to mesos-slave. 
					# To get a description of all options run mesos-slave --help; any option 
					# supported as a command-line option is also supported as an environment 
					    # variable.
					    
					# The mesos master URL to contact. Should be host:port for
					# non-ZooKeeper based masters, otherwise a zk:// or file:// URL.
					MESOS_master=zk://192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181/mesos
					MESOS_EXECUTOR_REGISTRATION_TIMEOUT=10mins 
					MESOS_IP=192.168.1.6 
					
					# For isolated sandbox testing 
					# MESOS_master=127.0.0.1:5050
					
					# For a complete listing of options execute 'mesos-slave --help' 
					MESOS_log_dir=/var/log/mesos
					MESOS_work_dir=/var/run/mesos
					MESOS_containerizers=docker,mesos 
					
					# systemd cgroup integration 
					MESOS_isolation='cgroups/cpu,cgroups/mem'
					MESOS_cgroups_root='system.slice/mesos-slave.service'
					MESOS_cgroups_hierarchy=/sys/fs/cgroup
  4. 启动 mesos-slave 服务。 
    service emsos-slave start

部署 Kubernetes 仪表板

用于该混合架构的 Kubernetes 和 Mesos 框架已完成。现在，我们应该部署它的仪表板。对于本例，在 x86 架构的从属节点中运行该仪表板。

首先，我们应该为每个从属节点添加标签。

  1. 为每个基于 x86 架构的从属节点添加标签 arch=x86 。 
    docker run -e KUBERNETES_MASTER_IP=192.168.1.2 -e KUBERNETES_MASTER=192.168.1.2:8888 powerkvm/k8s-mesos-x86:v1.4.0-alpha kubectl label nodes 192.168.1.5 arch=x86
  2. 为每个基于 Power 架构的从属节点添加标签 arch=ppc64le 。 
    docker run -e KUBERNETES_MASTER_IP=192.168.1.2 -e KUBERNETES_MASTER=192.168.1.2:8888 powerkvm/k8s-mesos-x86:v1.4.0-alpha kubectl label nodes 192.168.1.6 arch=ppc64le
  3. 检查结果。 
    docker run -e KUBERNETES_MASTER_IP=192.168.1.2 -e KUBERNETES_MASTER=192.168.1.2:8888 powerkvm/k8s-mesos-x86:v1.4.0-alpha kubectl get nodes --show-labels
					NAME                       STATUS         AGE           LABELS 
					192.168.1.5                Ready          2d            arch=x86,kubernetes.io/hostname=192.168.1.5 
					192.168.1.6                Ready          2d            arch=ppc64le,kubernetes.io/hostname=192.168.1.6
  4. 下载 Kubernetes 仪表板。 
    git clone https://github.com/kubernetes/dashboard.git /root/dashboard
  5. 将 nodeSelector 和 apiserver 添加到 kubernetes-dashboard-canary.yaml 中 
    cat /root/dashboard/src/deploy/kubernetes-dashboard-canary.yaml 
					…
					  spec: 
					     containers: 
					     - name: kubernetes-dashboard-canary 
					       image:gcr.io/google_containers/kubernetes-dashboard-amd64:canary 
					     … 
					       args: 
					       - --apiserver-host=http://192.168.1.2:8888 
					     … 
					     nodeSelector: 
					       arch: x86 …
  6. 为该仪表板运行 Kubernetes 服务。 
    docker run --privileged -v /root/dashboard:/root/dashboard -e KUBERNETES_MASTER_IP=192.168.1.2 -e KUBERNETES_MASTER=192.168.1.2:8888 powerkvm/k8s-mesos-x86:v1.4.0-alpha kubectl create -f /root/dashboard/src/deploy/kubernetes-
					dashboard-canary.yaml --namespace="kube-system"
  7. 检查服务和 pod。

    检查服务：

    docker run -e KUBERNETES_MASTER_IP=192.168.1.2 -e KUBERNETES_MASTER=192.168.1.2:8888 powerkvm/k8s-mesos-x86:v1.4.0-alpha kubectl get services --namespace="kube-system" 
				    NAME                  CLUSTER-IP       EXTERNAL-IP     PORT(S)     AGE
				    dashboard-canary      10.10.10.14      <nodes>         80/TCP      21m

    获取仪表板服务的 nodePort ： 

    docker run -e KUBERNETES_MASTER_IP=192.168.1.2 -e KUBERNETES_MASTER=192.168.1.2:8888 powerkvm/k8s-mesos-x86:v1.4.0-alpha kubectl describe services dashboard-canary --namespace="kube-system"
					Name: dashboard-canary 
					Namespace: kube-system 
					Labels: app=kubernetes-dashboard-canary
					Selector: app=kubernetes-dashboard-canary 
					Type: NodePort 
					IP: 10.10.10.14 
					Port: <unset> 80/TCP 
					NodePort: <unset> 31810/TCP 
					Endpoints: <none>
					Session Affinity: None

    检查 pod：

    docker run --privileged -v /root/dashboard:/root/dashboard -e KUBERNETES_MASTER_IP=192.168.1.2 -e KUBERNETES_MASTER=192.168.1.2:8888 powerkvm/k8s-mesos-x86:v1.4.0-alpha kubectl get pods --namespace="kube-system" 
					NAME                                 READY    STATUS    RESTARTS    AGE
				    kubernetes-dashboard-canary-x5wqg    1/1      Running   0           1h

Web UI

现在，我们已成功部署了 Kubernetes 和 Mesos。让我们检查一下 Mesos 的网页和仪表板。

对于 Mesos UI，我们可以通过访问任何 Mesos 主节点的 IP 和端口 5050 来访问主页。

例如， [任何 Mesos 主节点的 IP ] :5050

图 2. Mesos 主页

一个混合（IBM Power 和 x86）架构场景中的 Mesos 和 Kubernetes

一个混合（IBM Power 和 x86）架构场景中的 Mesos 和 Kubernetes

对于仪表板，我们可以通过访问任何 Mesos 从属节点的 IP 和 nodePort 来访问主页。

例如： [任何 Mesos 从属节点的 IP] : nodePort.

可以从仪表板服务的描述中获得 nodePort。

也可以使用以下命令获得 nodePort：

docker run -e KUBERNETES_MASTER_IP=192.168.1.2 -e KUBERNETES_MASTER=192.168.1.2:8888 powerkvm/k8s-mesos-x86:v1.4.0-alpha kubectl describe services dashboard-canary --namespace="kube-system"

图 3. Kubernetes 仪表板

一个混合（IBM Power 和 x86）架构场景中的 Mesos 和 Kubernetes

一个混合（IBM Power 和 x86）架构场景中的 Mesos 和 Kubernetes

结束语

本文介绍了如何将 kubernetes 和 Mesos 部署在一个混合（Power 和 x86）架构场景中。还介绍了如何使用 label 和 nodeSelector 将该服务部署到 x86 架构上。

参考资料

请参阅 Mesos 上的 Kubernete 的帮助指南，以了解完整的 x86 架构。

原文  http://www.ibm.com/developerworks/cn/linux/l-mesos-kubernetes-hybrid-architecture-scenario-trs/index.html?ca=drs-
正文到此结束
所属分类： 编程技术

热门推荐

相关文章

阿里云首购8折
说给你听

本文目录
随机标签
书籍教程
springboot-demo Java入门教程 bootstrap3 CSS Apache基础教程 php ionic 教程 Python mysql教程 eclipse Ubuntu VPS系统配置 AngularJS 教程 MongoDB教程 Struts2教程 Redis教程 Spring教程 Git教程 Jenkins进阶系列 openfire参考指南 Java设计模式 HBase教程 java-demo Maven教程 springcloud-demo hibernate教程 Docker 教程 memcached教程 Quartz指南 Hive教程 ANTLR教程 SpringCloud Ant教程 java实例教程 Hazelcast教程 XStream教程 Elastic-Job-Lite 深入浅出MyBatis ibaties教程 SVN教程 rabittmq教程 Hadoop教程 solr教程 WebService CXF学习 JPA教程 ActiveMQ中文指南 Java内存模型 dubbo教程 python3-demo Linux入门视频教程
近期评论
  1. 1 使用 Docker 打包和运行 Vue 应用
  2. 2 Dependency Check命令行方式扫描jar包的安全漏洞
  3. 3 maven使用Dependency-Check来扫描安全漏洞
  4. 4 使用sonarqube分析代码质量
  5. 5 使用screw来对比数据库表和字段差异
  6. 6 Spring Boot 实现防盗链功能
  7. 7 在Spring Boot中的实现国际化（i18n）
  8. 8 一个用于 SMB/CIFS 网络的 Java 库-JCIFS
  9. 9 Spring Boot 3.x嵌入MongoDB 进行测试
  10. 10 java如何解析和生成yaml文件？
网站信息
  • 文章总数：82,737 篇
  • 文件总数：284,312 个
  • 标签总数：2,416 个
  • 分类总数：85 个
  • 留言数量：2,559 条
  • 在线人数：611 人
  • 运行天数：4,439天
  • 最后更新：2024年12月22日19点
Loading...

其他链接

关于本站

本站定位：个人技术类博客

本站作用：写博客、记日志、闲聊扯淡鼓捣技术。

问题交流

[HBLOG]公众号 HBLOG HBLOG