转载

Web-Scale IT 我之见！

Gartner 曾在发表过的一篇文章中表示，到2017年，全球50%的企业将使用Web-Scale IT 架构。下面我们来看看 Andre Leibovici 对 Web-Scale IT 的看法：

Web-scale IT 不仅仅是一个流行词，更是一种设计数据中心和软件架构的方法，它体现了一种多维概念，包含可扩展性、一致性、容忍度和版本控制等。

Web-scale 描述了现代架构的趋势，即增长（远）大于线性速率。Web-scale 系统能够快速有效地进行处理，并避免在关键时刻需要重新架构的瓶颈问题。

Web-scale 架构和属性并不是一个新鲜的词条，它们已经在一些大型的网络公司中系统地使用了，比如谷歌、Facebook 和亚马逊。然而对比以往最大的区别就在于，这种可扩展到海量计算规模的架构，以往只出现在大型互联网公司而当下已通过专门的虚拟化定制方法走入主流企业。

在一个内部讨论中，Nutanix CEO Dheeraj Pandey 总结了关于 Web-scale 架构的重要概念。而本文对其中一些思想进行了引用，并扩展到其他不同领域。

同时，这里需要注意的是，高扩展性的分布式系统对笔者来说也是一个全新的领域，而笔者也会分享自己的学习收获。

首先要记住的是：Web-scale 不只适用于 SDS（软件定义存储）；它也是大型分布式系统的架构模型。这里有一个视频讲述了什么是 Web-Scale IT 。

通过软件途径，让大量运行着标准 x86 硬件的主机可以同时做一件事情。这是 Web-scale 第一次与 SDDC（软件定义数据中心）交互，在没有计算机硬件做支撑的情况下。许多服务已经采用这种办法，包括 SDN（软件定义网络）、虚拟服务和 SDS（软件定义存储）。

对于管理服务的无单点故障和瓶颈问题，在架构上应有所考虑。故障的容忍度是架构稳定、可扩展分布式系统的关键。发生故障时的运行能力也是可用性的关键。像 vector clocks、two-phase commit、consensus algorithms、leader elections、eventual consistency、multiple replicas、dynamic flow control、rate limiting、exponential back-offs、optimistic replication、automatic failover、hinted-handoffs、data scrubbing 等技术是构成分布式系统处理故障能力的要素。

Web-scale 系统应该提供一个灵活构建系统的服务，并具备并行构建的能力（ http://en.m.wikipedia.org/wiki/Embarrassingly_parallel ）。并行方法能够进行无干扰地接近传统的颠覆性任务，例如滚动或叉式升级、不间断集群和所有工作流全部在线。

Web-scale 系统应该能够被扩展，并且继续像一个单元那样正常运行。而不是依靠运行单元的多部署，这些单元不能自行扩展。

Web-scale 允许独立架构，它需要容忍故障，并提供性能、可用性保障和服务级协议。

Web-scale 系统应该为内部和数据中心通信提供用于完全控制和基于 HTTP 服务自动化的编程接口。这些 APIs需要为异步请求响应支持延时和容错协议。

Web-scale 系统应该提供自定义（和版本化）的对象。在 SDS 用例，具有编码能力的自定义磁盘高效地格式化和序列化结构数据，且是可扩展格式，比如 protobuf、Avro 等。这样，可以不用经常地更新磁盘数据。考虑到规模，Web-scale 不能假定只有一次数据更新。

Web-scale 系统应具有自描述（和版本识别）服务，这样分布式系统的不同部分可以在不同版本下进行通信，不用期待所有的部分一次升级。

分析软件为了减少人机交互。在大型网络公司中，Web-scale 基础设施与每台机器管理的 SRE 是1:10000的比例。一般的公司是1:500的比例。这个巨大的差距只能由分析和自动化来填补。

严格且最终一致的一致性模型，对 CAP 原理有清楚的理解（一致性、可用性和分区容错性）（ http://en.m.wikipedia.org/wiki/CAP_theorem ）。笔者发现 Julian Browne 写的一篇文章是学习更多 CAP 原理的好资料。

Web-Scale IT 我之见！