阿狸先森 互联网架构“高并发”到底怎么玩?

最近留言问“高并发”的朋友颇多 , 公众号又不支持历史文章检索 , 故重新优化发布 , 希望大家有收获 。
什么是高并发?
高并发(HighConcurrency)是互联网分布式系统架构设计中必须考虑的因素之一 , 它通常是指 , 通过设计保证系统能够同时并行处理很多请求 。
高并发相关的常见指标有哪些?
响应时间(ResponseTime)吞吐量(Throughput)每秒查询率QPS(QueryPerSecond)并发用户数什么是响应时间?
系统对请求做出响应的时间 。
例如:系统处理一个HTTP请求需要200ms , 这个200ms就是系统的响应时间 。
什么是吞吐量?
单位时间内处理的请求数量 。
什么是QPS?
每秒响应请求数 。 在互联网领域 , 这个指标和吞吐量区分的没有这么明显 。
什么是并发用户数?
同时承载正常使用系统功能的用户数量 。
例如:一个即时通讯系统 , 同时在线量一定程度上代表了系统的并发用户数 。
如何提升系统的并发能力?
互联网分布式架构设计 , 提高系统并发能力的方式 , 方法论上主要有两种:
垂直扩展(ScaleUp)水平扩展(ScaleOut)什么是垂直扩展?
垂直扩展是指 , 提升单机处理能力 , 垂直扩展的方式又有两种:
(1)增强单机硬件性能 , 例如:增加CPU核数如32核 , 升级更好的网卡如万兆 , 升级更好的硬盘如SSD , 扩充硬盘容量如2T , 扩充系统内存如128G;
(2)提升单机架构性能 , 例如:使用Cache来减少IO次数 , 使用异步来增加单服务吞吐量 , 使用无锁数据结构来减少响应时间;
画外音:在互联网业务发展非常迅猛的早期 , 如果预算不是问题 , 强烈建议使用“增强单机硬件性能”的方式提升系统并发能力 , 因为这个阶段 , 公司的战略往往是发展业务抢时间 , 而“增强单机硬件性能”往往是最快的方法 。
垂直扩展有什么瓶颈?
不管是提升单机硬件性能 , 还是提升单机架构性能 , 都有一个致命的不足:单机性能总是有极限的 。
如何突破单机的极限?
互联网分布式架构设计 , 高并发终极解决方案还是水平扩展 。
什么是水平扩展?
只要增加服务器数量 , 就能线性扩充系统性能 。
常见的互联网分层架构如何?
各层该如何落地水平扩展?
(1)客户端层:典型调用方是浏览器browser或者手机应用APP;
(2)反向代理层:系统入口 , 反向代理;
(3)站点应用层:实现核心应用逻辑 , 返回html或者json;
(4)服务层:如果实现了服务化 , 就有这一层;
(5)数据-缓存层:缓存加速访问存储;
(6)数据-数据库层:数据库固化数据存储;
要想真个系统支持水平扩展 , 就必须每一层都支持水平扩展 。
反向代理层如何进行水平扩展?
当nginx成为瓶颈的时候 , 只要增加服务器数量 , 新增nginx服务的部署 , 增加一个外网ip , 就能扩展反向代理层的性能 , 做到理论上的无限高并发 。
站点层如何进行水平扩展?


推荐阅读