转载

聚焦云计算核心技术与架构实现百度、腾讯等多位讲师齐分享

5月13-15日，云计算领域最具影响力的年度盛会—— 2016中国云计算技术大会在京盛大开幕，这也是本年度中国云计算技术领域规模最大、海内外云计算技术领袖齐聚、专业价值最高的一场云计算技术顶级盛宴。

由CSDN主办、为期三天的2016中国云计算技术大会（CCTC），全面聚焦云计算技术与行业实践应用。从2010年开始，CSDN已经连续参与举办了六年中国云计算大会，一步步见证了云计算从概念到逐步落地的全部过程。据有关数据统计，2015年中国云计算市场规模约1500亿，年增长率超过35%，云计算已真正进入到大规模部署和实战的阶段。在此形势下，云计算最大的价值，在于技术推动业务、技术创新引导行业发展的强大动力。基于此，2016中国云计算技术大会，我们将视野不但聚焦在技术创新发展本身，同时更加关注技术在企业和行业的应用实践。

本次大会，邀请到国内外近百位企业技术高管、业界精英专家，为参会者奉献了超过80多场精彩的专题分享、圆桌讨论。大会议程分为由领军企业分享前沿技术趋势的Keynote大会、四大核心技术与应用峰会、云计算平台构建/云计算架构与服务主题论坛，热点技术特色专场以及云计算技术英雄会晚宴等。议题内容涵盖Hadoop、OpenStack、Spark、Container、微服务等云计算大数据领域的核心技术和应用，并重点分享这些技术在国内外知名企业的落地案例。本次大会受到包括CCTV新闻频道、BTV财经频道、BTV新闻等过百家新闻媒体的报道和关注，腾讯现场进行视频直播。

5月14日上午，在云计算核心技术与架构论坛，来自于Cloudera、百度、腾讯、精灵云和魅族的技术讲师为大家分享了精彩演讲。

Hadoop架构在云上的应用实践

聚焦云计算核心技术与架构实现百度、腾讯等多位讲师齐分享

Cloudera大数据技术专家韩军分享了其与团队“Hadoop架构在云上的应用实践”经验。相比直接存储、数据不在集群间共享的本地模式，基于负载弹性伸缩、可在多个集群间共享数据的云模式更为灵活。

当前新型Hadoop部署生态分为公有云和传统的中央存储两类，公有云部署主要有三种形式，分别为：直接在虚拟机/云上部署Hadoop集群、Hadoop作为运算集群数据存储在第三方、Hadoop直接操作后端Shared Storage。

为什么要on Cloud？数据已在云上，而HDFS能够提供大数据应用统一的访问层，可将Block管理外包给第三方服务，为Cloud带来丰富的大数据生态系统。

腾讯云化数据库点滴

聚焦云计算核心技术与架构实现百度、腾讯等多位讲师齐分享

腾讯云高级工程师、数据库产品负责人祝百万分享了腾讯云化数据库的点滴。当数据量快速增加、性能和运维要求越来越高、数据结果变化呈现多样化成常态、分析挖掘愈加普遍，分布式和云化成为了必然趋势。

腾讯云采用了关系型、非关系型和分布式数据库体系，并围绕着可用、性能、易用、安全四个方向进行了部署操作，比如在安全方面的加密、审计、备份、回档、IP阻断、账号管理等，可用性方面实现主备切换、跨IDC容灾、IP漂移、外网迁移。

百度的分布式文件系统之路

聚焦云计算核心技术与架构实现百度、腾讯等多位讲师齐分享

百度基础架构部架构师、百度开放云非结构化存储系统技术负责人王耀围绕着从开源（GlusterFS、MooseFS、HDFS）到自研（CCDB-NFS、PETA、AFS）的“百度分布式文件系统发展之路”主题进行了演讲。

其中CCDB-NFS承接在线文件访问，采用VFS挂载的方式，只有少量的读写，负责目录树和集群管理的Master支持用户粒度的ACL和Placement；PETA和AFS承接离线计算的部分，同时也支持基于VFS挂载的一些计算模型，并且AFS在读取延迟优化、多存储介质、多租户方面做了很多工作。

在演讲中，王耀还特别提到必须及时检测AFS慢节点，以Ping带数据写入Block所在Disk上，这样除了检查网络之外，还可以检查磁盘。

负载均衡和微服务

聚焦云计算核心技术与架构实现百度、腾讯等多位讲师齐分享

精灵云创始人晏东带来了以开源实现为主的《负载均衡和微服务》主题分享，对包括抗负载能力强的LVS四层负载均衡、只能在Linux环境中使用的IP隧道、真实服务器需和负载均衡器在同一网段的Direct Routing以及HAProxy和Nginx等常见的负载均衡技术进行了讲解。

基于以上，其团队设计了GhostCloud三层负载均衡拓扑，首先通过DNS做区域性负载均衡，在每个接入点采用双LVS加Keepalive设计，并在LVS后接入自行研发的GLB负载均衡器，同时为微服务群提供动态二级域名的支持。

最后，晏东针对负载均衡和动态伸缩分享了两个实际用户案例，当用户面临时而发生的高并发量时，GLB会动态根据CPU、内存、连接数等系列算法为其提供业务节点的弹性伸缩和容错服务，将对于容器的监控、通知、日志、镜像、HA等都交给平台处理。

魅族大数据技术架构解析

聚焦云计算核心技术与架构实现百度、腾讯等多位讲师齐分享

魅族flyme大数据平台经理莫涵宇基于《魅族大数据平台架构实践》分享了魅族在人员变化、数据规模、业务支持等的DT转型和大数据历程。在实践中，魅族踩过诸多的业务和架构层的坑，比如迁就业务的不规范统计、需求管理杂乱、SDK埋点规范缺失、平台架构多次迁移、多个统计分析界面、没有数据Portal等。

魅族大数据总数据量超过2PB，数据各业务近500台主机，每日运行4000个调度任务，任务繁重下其团队进行了DW2.0的建设实践，构建适合解决业务痛点的数据产品，比如在离线和实时方面使用Hadoop和Spark，以及各类KV和Spark Streaming。并进行了大数据上云的尝试，包括资源管理调度、块存储、对象存储、镜像管理、虚拟化等。

更多详细信息，请关注大会专题 2016中国云计算技术大会

原文 http://geek.csdn.net/news/detail/74665

正文到此结束