黑爪猫
juejin.im/post/5d821603f265da03c128d011
高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计保证 系统能够同时并行处理很多请求 。高并发相关常用的一些指标有 响应时间 (Response Time), 吞吐量 (Throughput),每秒查询率 QPS (Query Per Second), 并发用户数 等。
响应时间 :系统对请求做出响应的时间。例如系统处理一个HTTP请求需要200ms,这个200ms就是系统的响应时间。
吞吐量 :单位时间内处理的请求数量。
QPS :每秒响应请求数。在互联网领域,这个指标和吞吐量区分的没有这么明显。
并发用户数:同时承载正常使用系统功能的用户数量。例如一个即时通讯系统,同时在线量一定程度上代表了系统的并发用户数。
垂直扩展(Scale Up)
1、 增强单机硬件性能(优先) :例如:增加CPU 核数 如32核,升级更好的 网卡 如万兆,升级更好的 硬盘 如SSD,扩充硬盘容量如2T,扩充系统 内存 如128G。
2、 提升单机架构性能 :例如:使用 Cache 来减少IO次数,使用 异步 来增加单服务吞吐量,使用 无锁 数据结构来减少响应时间。
3、 总结 :不管是提升单机硬件性能,还是提升单机架构性能,都有一个致命的不足: 单机性能总是有极限的 。所以互联网分布式架构设计高并发终极解决方案还是水平扩展。
水平扩展(Scale Out)
理论上来说增加服务器数量,就能扩充系统总体性能。然而水平扩展对 系统架构设计 是有要求的,难点在于:如何在架构各层进行可水平扩展的设计。
简单的说,高性能(High Performance)就是指程序处理速度快,所占内存少,cpu占用率低。
高并发和高性能是紧密相关的,提高应用的性能,是肯定可以提高系统的并发能力的。
应用性能优化的时候,对于计算密集型和IO密集型还是有很大差别,需要分开来考虑。
增加服务器资源(CPU、内存、服务器数量),绝大部分时候是可以提高应用的并发能力和性能 (前提是应用能够支持多任务并行计算,多服务器分布式计算才行),但也是要避免其中的一些问题,才可以更好的更有效率的利用服务器资源。
避免因为 IO阻塞 让CPU闲置,导致CPU的浪费。
避免 多线程间增加锁 来保证同步,导致并行系统串行化。
免创建、销毁、维护太多进程、线程,导致操作系统浪费资源在调度上。
避免分布式系统中多服务器的关联,比如:依赖同一个mysql,程序逻辑中使用 分布式锁 ,导致瓶颈在mysql,分布式又变成串行化运算。
高可用性(High Availability)通常来描述一个系统经过专门的设计,从而减少停工时间,而保持其服务的高度可用性(一直都能用)。
比如,全年停机不能超过31.5秒,
6个9的性能:一直能用的概率为99.9999%
避免单点 :使用单个服务器,一旦该服务器意外宕机,将导致服务不可用
使用“集群” :一台服务器挂了,还有其他后备服务器能够顶上
心跳机制:用于监控服务器状态,挂了就进行故障修复
电子商务网站上的商品,一般都是一次上传,无数次浏览的,说专业点也就是”多读少写”。
一个Redis服务可以有多个该服务的复制品,这个Redis服务称为Master,其它复制称为Slaves。
如图中所示,我们将一台Redis服务器作主库(Matser),其他三台作为从库(Slave),主库只负责写数据,每次有数据更新都将更新的数据同步到它所有的从库,而从库只负责读数据。这样一来,就有了两个好处:
读写分离 :不仅可以提高服务器的负载能力,并且可以根据读请求的规模自由增加或者减少从库的数量。
快速恢复:数据被复制成了了好几份,就算有一台机器出现故障,也可以使用其他机器的数据快速恢复。
后 记
若有错误或者不当之处,可在本公众号内反馈,一起学习交流!
更多热文在此:
● Spring Boot 系列实战文章合集(源码已开源)
● 程序员写简历时必须注意的技术词汇拼写
● 前后端都分离了,该搞个好用的API管理系统了!
● 从一份配置清单详解Nginx服务器配置
● 如何在Windows下像Mac一样优雅的开发
● Docker容器可视化监控中心搭建
● 利用ELK搭建Docker容器化应用日志中心
● 真实IT领域2/8法则,扎心了!
● 一文详解 Linux系统常用监控工具
更多 务实、能看懂、可复现的 技术文章、资源尽在公众号 CodeSheep ,欢迎扫码订阅,第一时间获取更新 :arrow_down::arrow_down::arrow_down: