转载

亚信数据橘云OCDP：敏捷开发+智能运维打造特色Hadoop产品

自2006年1月28日诞生的Hadoop技术到目前已经形成了一个技术生态圈，得到非常广泛的应用，也由此改变了大量企业对数据存储、处理和分析的方式。除了社区的Apache Hadoop外，业界不少公司也都提供了自己的商业版本及专业技术支持。作为其中生态圈内的领先玩家，亚信数据橘云的Hadoop商业发行版有哪些差异化特色？如何看待开源技术？带着一系列问题，CSDN记者对话了亚信数据橘云产品线总经理朱军。

作为大数据分析云及Hadoop产品方面的资深专家，朱军自1999年中科院软件所博士毕业后即在知名大数据技术公司Platform（于2012年被IBM收购）从事核心技术研发工作，也曾任IBM大中华区的资深研发经理及产品架构专家，参与研发的主要产品包括LSF、Symphony等。

1.CSDN记者：请先介绍一下亚信数据橘云的研发背景吧。

朱军：亚信数据橘云至今已有七年历史了。早在2009年，亚信就将橘云作为一项战略性项目启动，最早的代号叫OCI，其中I代表Infrastructure-基础设施，初期想法是搭建一个内部私有云平台提供大数据服务。2010年，改名为OCDC，其中DC代表distributed computing，发力于分布式计算，主要用于运营商的精细分析等业务。到去年，最新名为橘云OCDP，其中DP代表data platform，既包括分布式计算，也包括支撑上层的数据分析等大数据应用。亚信数据橘云OCDP也是国内首家正式加入了ODPi(Open DataPlatform)开放数据平台联盟的公司，联盟成员包括IBM、Pivotal以及Hortonworks在内的一系列IT厂商，旨在共同推动大数据技术的发展。

2.CSDN记者：目前，国内外许多厂商都推出了自己的Hadoop商业发行版，各家的解决方案有哪些特点？

朱军： Hadoop社区开源版提供的基础功能大幅降低了技术门槛，但要满足企业服务，还缺乏部分功能。因此，不少国内外的厂商都进入这个领域。目前来看主要有两种方式：一类是紧跟开源，充分利用开源技术，做增强和修补版，自主的部分会相对少一些，例如Hortonworks；另一些厂商，会在开源版还不稳定的时候，提供差异化功能和自主功能，以补足客户需求，迅速抢占市场，比如Cloudera、星环科技等。

而亚信数据目前的策略主要是第一种，即紧跟开源版，紧密拥抱社区，这样既能把握住核心技术方向，也符合国内自主可控的策略。亚信数据在充分利用社区成果的同时，也积极给社区更多贡献。

3.CSDN记者：亚信数据橘云作为开源商业版Hadoop发行版，对开源系统做出了哪些差异化的改进，有哪些特色？

朱军： 在早期，橘云OCDP在计算方面发力较多，对开源版做了大量改进和增强，例如Spark窗口函数等。从去年开始，随着多租户案例的落地，客户需要更有效的调度各种组件，因此橘云也在资源调度方面加大了投入力度，不仅在支持以往的MapReduce、Spark方面，也包括如何更好的支持Kafka、HBase等。

总体来说，橘云OCDP采用敏捷方式整合大数据分析应用的开发与运维，差异化体现在两个方面：一个是智能运维。橘云将Apache Slider和YARN做高效集成，针对Docker集成，在资源管控上极大提高了资源利用率，基于大数据技术可视化运维数据，这些都将更好满足系统管理员的需求。另一方面是敏捷开发。橘云为开发者提供了一系列工具，例如流数据快速开发，用熟悉的语言如SQL做Spark开发等。

4.CSDN记者：今年是Hadoop 十年。Hadoop经历了怎样的技术历程？

朱军： Hadoop是典型的分布式系统，遵守分而治之、松耦合、模块化的原则。几项最核心的技术：存储、计算、资源调度，都在持续不断的演进和优化。例如计算部分从MapReduce演进到Spark，性能更高；存储从原来的HDFS到HBase到kudu，Arrow等新一代存储系统与方式。但从Hadoop的技术架构层面上看，不会有太大的变化了，但是每个组件都在不断优化和调优，尤其是针对用户场景，时常会出现小的颠覆和微创新。

5.CSDN记者：亚信数据橘云团队积极组织并参加了大量开源社区活动，在团队内部也大量采用了开源技术，你们是如何选择开源技术进行投入的？

朱军： 我们选择一项开源技术投入之前，主要看这项开源产品的技术架构演进和生命力，以及社区真正的反应是怎样的。我们会谨慎的选择有长远发展生命力的技术方向提前投入。例如Spark，亚信数据在国内相对很早就开始关注这项技术，之前也举办了很多场Spark Meetup社区互动，和社区一起推动了这项技术在国内的普及和推进。

6.CSDN记者：企业该如何选择Hadoop商业发行版？对于正在或计划迁移到生产环境的时候有哪些注意事项？

朱军： 主要看几个方面：首先要看产品在市场上的成熟度是否够高，通过标准化测试，得到社区和组织的认可；第二是实施团队的经验和服务，能够帮助用户在迁移过程中避免常见的坑。亚信数据橘云OCDP在运营商IT架构解决方案方面积累了大量的成功经验，现在也希望把这些成熟的经验推广到全行业；第三是企业在实施Hadoop项目前要充分做好规划设计以及前期的数据梳理。

原文 http://www.csdn.net/article/a/2016-03-31/15837053-OCDP

正文到此结束