数据库读写分离方案,实现高性能数据库集群
文章插图
各位志同道合的朋友们大家好,我是一个一直在一线互联网踩坑十余年的编码爱好者,现在将我们的各种经验以及架构实战分享出来,如果大家喜欢,就关注我,一起将技术学深学透,我会每一篇分享结束都会预告下一专题一般我们业务在读多写少的场景下,遇到的第一个瓶颈就是数据库这块,大量的读请求会来到数据库,这样如果你初期部署的一个数据库就会造成IO大量增加,使得请求变慢,甚至会卡死整个数据库,到了这个阶段,我们一般会将读请求和写请求进行分开数据处理,即采用主从读写分离的方式 。
注:这里说的是主从并不是主备,主从中的从服务器是要承担业务的,而主备中备份机器一般只作为备份存在 。
我们采用主从读写分离的方式,目的是为了将更多的读请求进行分发来缓解我们的大量读请求 。
读写分离架构原理正如上面所说,读写分离是为了将请求流量分散到不同的数据库节点上,将写入数据的请求分发到主数据库,读取数据的请求分发到从数据库,从数据可以有多台,即一主多从 。如下图:
文章插图
从上图可看出,有个关键技术就是主从复制,每次写入数据的时候,需要将主服务器数据复制到从服务器中,用来确保数据一致性 。下面我们来单独看看主从是怎么复制的,以我们互联网中最熟悉的MySQL为例 。
文章插图
- 从服务器连接上主服务器,启动复制的时候,则会自身创建一个IO线程去像主数据库服务器拉取binlog的更新信息 。
- 把拉过来的binlog信息写到自己服务器的一个relay log日志文件中 。
- 从数据库服务器创建一个SQL线程,是为了将relay log的所有日志信息,进行sql回写到自己的数据库中,这样就和主库的数据一模一样了 。
- 当主数据库有数据更新的时候,比如新插入了一条或者update了一条数据,这时候主库会将这些数据更新到binlog二进制文件中,同时,主库会创建一个binlog dump线程,这个线程将更新了的binlog信息发送到从库的IO线程,需要注意的是,这个过程是异步的,如果等着从库接受完成,是不是特别慢,且影响性能 。
但是,我们不能一味的加从数据库,加个十七八个的,这样做是无脑的操作啊,你想想看,你加一堆的的从数据库连接到数据库,复制他的数据,太多的IO线程会造成主数据不堪重负的,就会造成你写入数据慢,还会卡死,这就悲剧了 。所以,不能这么搞啊,一般生产环境一个主数据库挂三个从数据就行了,最多不能超过5个以上,要是还是不满足肯定就会有其他方案了啊,多级缓存方案啊,是不是,后面会讲的 。
主从延时上面说了主从读写分离的那么多好处, 主从同步是有延迟的,当然,这个延时一般都在ms级别,但是如果到了秒级别,可能就会对有些业务造成影响,看我们能否接受 。比如,我们在支付系统创建支付单后,风控系统会进入查询作出相应的风控操作,如果查不到就会可能终止本次交易了 。
主从延迟优化
- 我们可以在这些立马需要查的业务,让它直接查主数据库,但是这种方案不推荐,因为量大怕会拖垮主数据
- 当从数据库读取不到,我们回去再读主数据,这样就能读到数据了 。但是,这种也是有风险的,量大也会拖垮主库 。
- 像我前面文章提到过,分重要性业务和非重要业务,将很核心的几个业务查主数据,其他非核心,读写分离 。
- 使用缓存,将新增的数据同时添加一份缓存,然后查缓存数据,这种建议新增的数据使用缓存较好 。
- 使用消息队列中间件进行消息冗余,将新的主数据内容,通过消息中间件MQ冗余一份当前数据,然后发到需要查询的系统 。
推荐阅读
- 数据库架构举例说明
- MySQL与 PostgreSQL 数据库功能对比
- 允许远程连接MySQL数据库教程
- 最好用的 7 款数据库监控工具
- MySql,Mssql,Oracle三种数据库性能优缺点
- 镜像迁移,RDS数据库迁移 阿里云跨区域服务器迁移
- ERD 什么是实体关系图?
- 一文总结MySQL数据库访问控制实现原理
- C/C++连接MySql数据库使用总结
- 前后端分离架构