转载

Oracle 12.2 Sharded Database Management – Series I

##什么是Sharding

> Sharding is a data tier architecture in which data is horizontally partitioned across independent databases. Each database in such configuration is called a shard. All of the shards together make up a single logical database which is referred to as a sharded database or SDB.

Sharding是指数据层的水平分区，实际上在之前的Oracle版本中，分区已经是数据仓库系统非常常用的技术手段，但是在12.2之前，一个分区表的所有分区只能存储在一个数据库中，而在12.2之后，一个分区表的多个分区可以存储在不同的数据库里，这就被称为Sharding。为什么Sharding这么被大家期待？因为可能很多人都在说，Oracle的水平扩展能力不够强，虽然有RAC，但是集群节点越多内耗就越多，这样的水平扩展能力跟Hadoop之类的方案相比是不足的。我们先不评判这样的看法是不是正确，Oracle 12.2要告诉大家的是，要Sharding？要分库分表？要线性水平扩展？没问题，给你。

假设这样的分库分表一共跨了10个Oracle数据库，那么这10个Oracle数据库对于前端应用来说是透明的，是一个统一的逻辑数据库，称为一个sharded数据库，或者简称为一个SDB，而在这个SDB中每个数据库被称为一个shard。一张大表可以根据规则被分割到每个shard中，在每个shard里拥有相同的字段结构，但是却拥有不同的数据，这样的一张表被称为sharded table。

##Sharding适合所有的数据库应用吗？

既然Sharding听上去很厉害，那么是不是现在只要遇到有性能问题的数据库，一律都可以使用Sharding技术来解决呢？当然不，Sharding不会也不可能是FAST=TRUE这样的参数。一个适合Sharding技术的应用，必须有非常好的数据模型，和清晰的数据分布策略（比如是一致性哈希，范围或者列表分区），并且访问这些数据也是总要通过shard key来过滤的，只有这样，才能在整个Sharded数据库架构中很好地将请求路由到合适的数据库上。这样的shard key可能会是客户编号，国家编号，身份证号码等。

##Sharding有哪些缺点？

在我们颂扬一项技术之前，先看一下这项技术会带来哪些不便，是更理智的做法，要知道世界上并无十全十美的事物。

在Wikipedia（[https://en.wikipedia.org/wiki/Shard_(database_architecture)]）中对于Shard的坏处有如下的定义。

> •Increased complexity of SQL – Increased bugs because the developers have to write more complicated SQL to handle sharding logic.

> •Sharding introduces complexity – The sharding software that partitions, balances, coordinates, and ensures integrity can fail.

> •Single point of failure – Corruption of one shard due to network/hardware/systems problems causes failure of the entire table.

> •Failover servers more complex – Failover servers must themselves have copies of the fleets of database shards.

> •Backups more complex – Database backups of the individual shards must be coordinated with the backups of the other shards.

> •Operational complexity added – Adding/removing indexes, adding/deleting columns, modifying the schema becomes much more difficult.

1. 增加了SQL的复杂性。因为开发人员必须要写更复杂的SQL来处理sharding的逻辑。

2. Sharding本身带来的复杂性。sharding软件需要照顾分区，数据平衡，访问协调，数据完整性。

3. 单点故障。一个shard损坏可能导致整张表不可访问。

4. 失效接管服务器也更复杂。因为负责失效接管的服务器必须拥有任何可能损坏的shard上的数据。

5. 备份也更复杂。多个shard可能都需要同时备份。

6. 维护也更复杂。比如增加删除索引，增减删除字段，修改表定义等等，都变得更困难。

庆幸的是，这上面的大部分缺点，在Oracle 12.2 Sharding中都无需担心。

##Oracle Sharding Architecture

跟那些NoSQL数据库架构不一样，Oracle Sharding在提供sharding的同时，并没有牺牲掉关系型数据库所带来的优秀特性，比如说关系型数据建模，SQL编程接口，丰富的数据类型，在线的表结构变更，充分利用CPU多核的扩展性，高级安全，压缩，高可用，ACID特征，一致读，所有的Oracle数据库的优势仍然还在那里，但是，额外，提供了sharding的优势。

对于Oracle Sharding的上层来说，使用的是Oracle GDS（Global Data Services）框架来实现自动部署和shading的管理以及拓扑复制。GDS还同时提供了对于整个SDB访问的负载均衡和基于位置的路由功能。在GDS框架中，global service manager负责将应用过来的请求转发到合适的shard上，另外还有一个shard catalog数据库，支持跨shard的查询功能，同时SDB的配置数据也都存在这个catalog数据库中。

对于Oracle Sharding的底层来说，使用的是Oracle长久以来一直存在的分区（partitioning）技术。Oracle Sharding就其本质上来说，实际上就是分布式分区，将以前的分区扩展支持到跨不同的物理数据库上。

因此创建一个sharded table的语法，跟以前创建一张分区表的语法也是非常相像的，以前称为分区键的字段现在被称为“sharding key”。

CREATE SHARDED TABLE customers ( cust_id NUMBER NOT NULL , name VARCHAR2(50) , address VARCHAR2(250) , region VARCHAR2(20) , class VARCHAR2(3) , signup DATE CONSTRAINT cust_pk PRIMARY KEY(cust_id) )      PARTITION BY CONSISTENT HASH (cust_id)  TABLESPACE SET ts1 PARTITIONS AUTO ;