转载

百度开放云资深工程师崔灿：百度对象存储系统的架构与演进

2016年4月14-15日，由51CTO传媒主办的WOT2016互联网运维与开发者大会在北京珠三角JW万豪酒店召开。下面是来自百度开放云资深工程师崔灿先生给大家带来的是主题为《百度对象存储系统的架构与演进》的精彩演讲实录。

作者：谭盼雨来源：51cto | 2016-04-15 13:45

网+线下沙龙 | 移动APP模式创新：给你一个做APP的理由>>

2016年4月14-15日，由51CTO传媒主办的WOT2016互联网运维与开发者大会在北京珠三角JW万豪酒店召开。秉承专注技术、服务技术人员的理念，自2012年以来，WOT品牌大会已经成功举办了七届，积累了大量的技术专家资源，获得了广大IT从业者和技术爱好者的一致认可，成为了业界重要的技术分享交流平台以及人脉拓展平台。

本次会议分为11个技术主题，分别是：数据库技术与应用，大数据与运维，云计算与运维，运维安全，移动运维，容器体系构建与实践，运维自动化，行业运维、监控与性能优化、高可用架构和分布式存储技术。51CTO作为本次大会的主办方，将以快速报道、现场专访与后期视频等形式展示这场盛宴。

下面是来自百度开放云资深工程师崔灿先生给大家带来的是主题为《百度对象存储系统的架构与演进》的精彩演讲。

百度开放云资深工程师崔灿：百度对象存储系统的架构与演进

百度开放云资深工程师崔灿

对象是什么

比如像一个人一样，对象包括姓名、年龄等性质的实体。我们所说的对象存储也是如此，我们认为实际存在的东西就是一个对象，比如一个MP3、一个日志存储、一个视频文件等。命名空间比较扁平，对象的属性是稳定的，就像一个人一样，一旦形成属性就不会轻易改变。

对象存储系统的特点：可靠性、可用性、性能、价格。

存储系统可靠性：系统可靠性=f（容忍度，修复时间）

可靠性是存储最基本的特点，保证用户的数据不会丢失。简单来说系统可靠性可以这么理解，一个是对故障的容忍度，比如系统能够容忍几个磁盘故障或者机器坏掉。对于提高系统对故障的容忍度方面，我们可以做一些系统冗余来实现。

另一个是对故障修复的时间，就是说在故障在，可以采取，取决于磁盘的IO，可以将其分散到多个网点，相当于多个磁盘在拷贝一个数据，另外一个是百度内部多年的经验，是对磁盘出现故障可以做预测，可以提前对故障的发生做时间预测，可以提前对故障做预防工作。

百度开放云所做的就是将KV存储做成对象存储。在这个过程中遇到的挑战有：

一是用户。用户量的增大使工作开展起来工作难度增大，其次会有恶意用户的攻击。
二是业务。开放对象存储的用户多，对于有针对性地分析用户需求并采取针对性的解决措施的难度大大增大。

对象存储所做的工作集中在三个方面：

一是安全性。数据安全是存储最基本的事情，如果数据丢失，之后的事情都无法开展。要保证数据安全，可以采取多副本、多region、多az等方法。也可以采取授权的方法，既保证所希望访问的用户可以访问，也可以保证不希望访问的用户无权限访问。还可以采取用户间隔离的方法来保证用户数据安全。
二是易用性。因为不会对用户做分类，要保证使用的用户都会使用，因此要保证易用性。
三是性能。包括下载加速和上传加速。

下载加速的优势有并发下载、流量调度、CDN。其中流量调度可以实现用户与运营商的匹配。目前市场上鱼目混杂的有很多运营商，但是哪家运营商才是最适合自己呢，百度采取流量调度的方法可以为用户调度最适合它的运营商那里。

上传加速：并发上传和跨IDC分布式存储

低副本存储

在大数据的今天，数据存储在业务上和技术上有了很大的变化。数据存储量越来越大，存储技术也日新月异，在这样的背景下，为了面对大数据时代的到来，百度已经逐步淘汰了千兆网卡，采用了万兆网卡。采取使用网络、CPU的方式去取代一些磁盘硬盘。

另外，崔灿也跟大家分享了百度开放云在面对超大数据存储方面所采取的方法是将数据逐级分级，比如将T量级的数据逐级分解成M级的进行存储。同时也介绍了百度CDN的优势所在，以百度CDn为例，百度是一整套的，避免出现了不配套的问题。其次百度CDN可靠性更好，CDN回源是先回到二级节点，可以降低CDN压力，对速度会更优化。CDN在应对攻击方面，若有超大流量攻击时，百度有和运营商有应对黑洞的策略方案。对于小流量的窃取流量的问题，可以采取将用户的请求回源站等方法来处理。

未来

崔灿介绍到，未来，百度将继续对存储的核心技术方面进行不断的研究，其次会不断提高产品的性价比，降低用户的存储成本，降低副本。第三是会继续提供解决方案。将百度内部的资源包装出来，使用户享受到更好的服务。

【编辑推荐】