转载

当我设计游戏服务器时，我在想些什么？（1）

机缘巧合的机会，我有幸能够从头开始设计一个游戏的服务器。中间遇到很多欢声笑语和悲伤泪水，这里分享一下。

我之前所在项目组的游戏服务器架构如下图：

这款游戏是一款MMO的端游，GateWay网关的任务是接受客户端的连接，然后通过分发策略，把玩家丢进GameSvr上去，之后玩家的所有请求都直接发给GameSvr，由GameSvr处理了。当然这里的分发策略跟一般的web服务器是不同的，web服务器一般会做成无状态的服务器，也就是对于客户端来说请求到达哪一个服务器都没有关系，都能够被处理，但是游戏服务器大多都是有状态的，web的一般分发策略是做一个负载均衡，只要保证服务器的整体压力没问题就已经是一个好的架构了，但是游戏服务器由于存在状态需要维护，所以通常都没办法做简单的负载均衡。举个例子，由于我们是MMO游戏，所以在服务器逻辑上存在地图的概念，好比魔兽世界的游戏里不同的玩家出生的地图是不一样的，而且你从一张地图下线后，下次上线的地点一般来说都会是你上次下线的地点，而根据游戏历程和策划想要营造的游戏效果来看，游戏里不同地图之间的压力通常来说是不一样的，比如主城的玩家就通常比一张偏远的野外地图的玩家要多，而游戏服务器的压力通常都出现在玩家聚集的时候，例如大量IO的压力。所以从设计人员的角度来看，一般会把不同的地图分配到单独的进程中去，所以GameSvr通常会按照地图来进行划分，那么GameSvr进程天生就具备了自己的状态，因为两个GameSvr进程已经就不一样了，玩家是在哪个地图，就只能把玩家丢到哪个GameSvr上去。当然，这只是我们采取的一种做法，其他人还有不同的做法，不过大致是类似的。

我曾仔细考量过上面那个游戏单个GameSvr的承载能力，通常在1000人左右就已经开始吃紧了，这点也比较好理解，根据这个服务器的架构，几乎所有的玩家逻辑都在同一个进程内被处理，只有一些公共的逻辑被分配给Relay进程处理，这里的Relay进程承担两个作用，一个是做不同的GameSvr间的通信转发，另一个是它自身也会维护游戏里的公共逻辑，什么叫公共逻辑呢？比如聊天、帮会、排行榜等等，这些不跟地图相关的游戏逻辑，又被多个GameSvr共享的部分就被抽离到Relay进程上，其实这里有两种做法，一种是让每个GameSvr进程自己去维护这份公共逻辑，但显然这会浪费GameSvr进程仅剩的不多的压力负载。但是把逻辑放入Relay进程也带来一些问题，比如在游戏研发中会发现，越来越多的逻辑需要放进Relay进程，导致Relay进程越来越庞大，比如我们游戏中的帮会数据和全局定时器的维护就由Relay进程来维护的，但是程序员在写功能的时候经常就直接一个RPC调用来使用Relay的功能，因为这很方便，而且从现有架构的设计来看也是合理的，我们当时的relay的rpc接口设计的是同步的接口，于是当rpc激增的时候，整个游戏逻辑就变卡了。

Relay的庞大导致两个问题，一个是单点故障的概率变高了，另一个就是Relay的性能低下会导致整个游戏服务器变卡。我们的服务器有段时间在每天晚上10点左右就开始卡，只要涉及到公共逻辑的部分就几乎无法使用，例如无法聊天、无法进行帮会操作等等，最后排查问题的结果就发现是游戏中的某些功能把逻辑写在Relay上，到10点进行了一个十分复杂的计算，导致Relay阻塞在那里，而无法响应GameSvr发来的请求。我是在游戏的开发末期加入这个项目的，当时Relay的体积还是比较小的，大家都刻意的去尽量避免游戏逻辑放在Relay上，但是当游戏真正进入运营期之后，deadline的限定，大家不得不把逻辑放Relay上，因为这是最快的实现方式。我眼看着Relay一步步的胖起来，在我离开这个项目的时候，Relay上的代码已经满目苍夷了。

再来谈谈这个架构的其他部分，比如Bishop是用来进行我们游戏内交易数据的统计和验证的模块，主要是和公司的交易系统进行对接，AccoutSvr的作用是处理游戏内账户的相关操作，比如建立账户，新建角色等等，它的主要作用其实是为了保证游戏数据的唯一性，例如角色名的唯一、宠物名的唯一等等。接着是Mysql的部分，云风曾经在博客里说过游戏服务器中数据库的作用应该只是一种备选方案， http://blog.codingnow.com/2014/03/mmzb_db.html 也就是说如果存在理想的游戏服务器，永不宕机，永不维护，那么实际上数据库是不需要的部分，数据库承担的是一个游戏恢复和容错的机制，我很赞同云风的这种说法，而一旦不需要去考虑数据库的部分，那么游戏设计其实减掉了很多容错的做法。关于数据库的部分我后面还会谈到。

然后是这个架构的扩展性，对于游戏服务器来说，扩展通常有三种，一种是开新区、另一种是合服、最后才是由于服务器压力顶不住而扩展逻辑进程。上面我们这个端游的服务器模块从设计上就不去考虑开新服的机制，单套服务器架构基本只支持一个区，所以在开新区的时候，做法是部署同一套服务器架构，利用客户端更新服务器的地址来实现不同服的架构；合服的情况要更加复杂，因为在设计上没有考虑多服的设计，所以不同服之间的数据可以说是毫不相关，那么在合并服务器的时候必然存在一些冲突数据需要处理，不光是一些玩家数据，甚至还有一些游戏逻辑数据，例如我之前做过一个功能，是实现一个全服的玩家联赛，最后每个区会产生一个冠军，然后冠军的雕像会被放置到游戏中的主城中展示一个月，但是后来有两个区合并了，那么到底展示谁的雕像，因为无论你展示哪一个区的，玩家都会不满，当然，这种事情一般需要策划去考虑然后解决，但是从程序上来说，确实存在这种需要特别处理的地方。在合服的时候，另一个问题是之前保证的角色名不重复是利用的各自区的accsvr，通常accsvr保证惟一性的做法是使用同一个数据库来保存需要排重的信息，但是对于不同的网络运营商，这个数据库很可能没办法统一起来，这样一来，当两个处于不同网络中的区需要合并的时候就出现了难以解决的问题，比如我们有一次把电信和网通的两个区进行合并，本来这两个区各自确实能够保证角色名唯一，但是当跨运营商合并的时候却会发现冲突。

然后是服务器压力，不知道是由于当年设计这个架构的人没有考虑到还是当时不存在这样的问题，所以服务器横向扩展的能力是十分弱的，对于新开的副本，relay进程会根据gamesvr的压力来选择把新副本开在哪个gamesvr进程上，但对于常驻地图，却是写死在配置表里，绑定固定的gamesvr，而relay又没有提供动态添加gamesvr的功能，这导致了如果在服务器运行期间出现了单个服务器进程压力，除了重启服务器，几乎没有任何办法。这个在运营期暴露的很明显，由于GameSvr按照地图进行划分，当开新区的时候，玩家大量涌入同一张地图，导致单个GameSvr压力出现峰值，但这个时候却没办法动态的扩展进程进行分压，而导致服务器宕掉。在后期的运营中这样的情况屡见不鲜。

后来我还听到过很多关于页游的架构，页游服务器整体上跟端游思路是类似的，由于客户端的通常通信方式不再像端游那样采用原生tcp连接，而是使用http等短连接的协议，所以在客户端连接的部分设计上更加灵活，而且大部分页游的游戏逻辑没有端游那么复杂，在客户端的表现力有限的情况下，基本上整体的游戏服务器设计要更加精简，所以我看到通常服务器后端会更加偏重于如何进行横向扩展。上面我提到的架构扩展性差的问题，对比页游的滚服方式，体现的最明显了。

这就是关于我上一个游戏服务器的样子了，下一篇开始我自己的服务器设计。

正文到此结束