江苏龙网

  1. 主页 > 生活百科 > >

网站设计步骤和思路 大型网站结构设计方案总结

大型网站架构的设计是一个循序渐进的过程，重点是“性能、可用性、可扩展性、可伸缩性和安全性” 。下面是一些关于网站架构的个人总结，没有问题的话请大家多多批评 。
前端CDN加速：CSS/JS/图片等静态资源使用CDN加速，设置缓存时间、Referer限制(防盗链)等进行流量优化； 减少HTTP请求：将CSS/JS/图片等静态资源合并，可以利用webpack等前端构建工具进行处理 启用浏览器缓存和文件压缩：压缩图片、JS/CSS混淆压缩、Web服务器开启Gzip压缩&设置文件expire缓存时间； 异步加载：动态接口通过Ajax异步加载，减少网络请求（可以通过JSONP或者设置Access-Control-Allow-Origin进行跨域）； 使用验证码：使用短信或图像验证码，提高验证码的复杂度及多样性，缓解羊毛党带来的流量冲击； 减少Cookie传输：Cookie包含在每次请求和响应中，太大的Cookie会严重影响数据传输，例如针对CDN采用独立域名，可以减少静态资源加载携带Cookie信息；缓存 关于缓存，永远记住 28定律: 80%的业务访问集中在20%的数据上 。缓存热数据可以减少网络I/O和磁盘I/O，大大提高响应速度 。除了前端本地资源缓存，服务器端缓存的常见做法如下:
页面静态化：缓存整个页面，或者局部缓存，减少数据读取和运算频率； 数据缓存：充分利用NoSQL数据库，例如memcached、redis、mongodb等，可以部署集群或分布式缓存，提高缓存命中率，减少数据访问的压力，可以进行缓存预热、预先加载热点数据，同时需要防止缓存穿透；消息队列异步解耦：利用Httpsqs、RabbitMQ、Kafka等队列或消息中间件，将耗时/非即时性操作通过队列进行异步处理，提高服务器响应速度，以此降低对资源的并发访问 。遵循一个原则：任何可以晚点做的事情都应该晚点再做 。削峰填谷：由于流量是波动变化的，高峰和低谷差距很大，可以将一些操作存储到MQ队列中，消费端通过拉取的方式，并且拉去速度有消费端来控制，则就可以控制流量趋于平稳，达到了削峰填谷的目的，或者说起到了流控的目标 。数据库 使用缓存后，大部分数据读取操作不需要通过数据库完成，但是当缓存未命中、缓存过期、所有写操作时，都需要访问数据库 。当用户达到一定规模时，数据库会因为高负载压力而成为瓶颈 。常见的做法如下:
读写分离：利用Mysql主从复制机制搭建读写分离集群，在客户端实现或者服务端利用中间件（例如MyCAT)实现读写分离； 分库分表：针对不同业务类型，进行分库，部署到不同服务器上，减少单服务器压力，同时针对大表，根据一定条件（如用户ID取模、ID范围）进行水平分表，减少单表读写压力； 数据库连接池：充分利用连接复用，解决数据库连接过程需要占用资源，影响响应速度等问题，PHP本身没有连接池，可以利用第三方框架实现（例如SMProxy)； 硬件优化：利用磁盘阵列（RAID)提升数据可靠性，资金充足的话可以换SSD硬盘；负载均衡业务拆分：根据URL拆分业务，分发流量到不同的服务器组，防止单一功能模块卡住，而影响整个业务，主要遵循SOA的架构思路，将业务模块打散（鸡蛋不要放在一个篮子里面） 反向代理负载均衡：充分利用Nginx/Haproxy/LVS反向代理负载均衡，搭建服务器集群，提升并发处理能力； DNS负载均衡：DNS解析可以依据不同网络运营商、地区进行分别解析、从而实现DNS层面负载均衡；代码多线程：充分利用多CPU优势进行数据批处理 锁：在高并发情况下，对统一资源读写访问容易出现脏读、幻读，这个时候需要对核心资源枷锁，利用Redis或者Zookeeper等可以实现分布式锁； 设计模式：充分利用设计模式，实现逻辑解耦、分层和资源服用，例如单利模式、观察者模式等； 数据结构和算法：好的数据结构和算法可以给程序性能带来很大提升、例如链表查找、快速排序等； 垃圾回收：良好的编程习惯，例如即时清理内存占用大的变量、避免操作的数据量大等都可以避免出现内存泄漏（OOM)的情况发生 。SQL查询优化：SQL执行效率一般是影响响应速度的关键，可以开启SQL慢查询日志，对执行效率慢的SQL语句进行优化； GIT多分支：良好的分支管理对于CI/CD、版本测试有很好的作用，建议参考git-flow进行日常Git协作 。日志：统一的日志输出标准，有利于进行数据追踪和问题排查 。冗余数据定期备份：定期全量备份+主从同步增量备份，例如MySQL/Redis主从复制进行增量备份、Mysqldump全量备份、Redis利用RDB或者AOF进行备份； 集群：一定数量的备用服务器，可以保障系统的高可用，防止单点故障，可以结合Keepalived+LVS/HAProxy/Nginx等实现数据库/Web服务器/缓存/消息中间件高可用集群；自动化CI/CD：利用成熟的CI/CD机制实现自动化测试、代码检测，自动化发布，例如可采用Git+Jenkins+Docker搭建CI/CD工作流 。自动化部署：针对超过30台的服务器部署，可以采用ansible进行批量管理 自动监控/报警：监控用户行为日志、服务器日志等，可结合zabbix+ELK进行实施； 自动降级和资源调度：微服务架构范畴，作者也在努力学习中 。安全二次验证：充分手机验证/人脸识别进行二次验证，保障操作的真实性； web防火墙：传统防火墙仅限于包过滤，网络和端口地址转换（NAT）和VPN等功能 。它根据端口，协议和IP地址做出决策；Web防火墙（WAF）则提供了HTTP/HTTPS访问请求监控、自定义过滤规则、Web攻击防护、安全合规等功能；可以利用阿里云等提供的WAF服务或者基于Nginx+lua等实现的类似API网关实施类似功能； 内外网隔断：暴露出来的IP和端口越少，安全系数越高；例如数据库服务、缓存服务、中间件等尽量只允许内外访问，如果确实需要可以通过路由转发或反向代理实现； 数据加密：充分利用非对称加密，例如启用https, rsa加密等，保障数据传输的安全性； 网络攻击：需要防止DDOS攻击、XSS攻击、SQL注入、CSRF等，常见手段CDN加速、高仿IP、Linux内核优化、数据输入输出过滤、Referer限制、表单添加随机token/验证码等； 信息安全：对于垃圾信息、敏感信息可以采用第三方解决方案（例如网易云盾、百度AI等）对文本、图片、音频、视频等进行过滤和审核 。总结 架构的演进遵循“分层->划分->分布式”的思路，是一个随着业务的增长不断积累经验、优化和改进的过程 。业务开发是架构开发的主力，架构的核心价值是服务业务的灵活开发 。所有的架构设计都必须以对业务特性的理解为出发点，需要考虑互联、负载均衡、网络、开发、缓存、存储、数据库、安全等多个层面 。这几个层面看起来是一个整体，任何一个环节出现问题都可能导致整体崩盘 。因此，一个高可用、高并发的平台需要监控、开发、运维等角色的配合 。


推荐阅读


上一篇：数据库营销方式有哪些，数据库经典营销方案！

下一篇：注册手机域名的操作步骤 如何注册网站域名