类似优酷土豆视频网站的视频源文件一般是存储在啥样系统上

2020-05-22

您这里说的“视频源文件”，所以我理解是不包括CDN，主要是指他们的内容生产系统的后端存储。由于大型视频网站每天新增视频数据量很大，所以对scalability的要求很高，同时视频处理/播放系统不属于事务类/交易类系统，因此分布式存储是比较合理的选择。iQIYI、Youku等各大视频网站的生产系统均采用分布式存储来存放视频数据，但是具体选型各异。个人认为，有两个分布式存储方案比较适合视频网站，一个是HDFS，另一个是Ceph。视频数据的特点是大文件顺序读、顺序写，一般很少直接修改和随机访问，因此很符合HDFS的设计初衷；从另一个角度来看，视频网站的视频数据的访问形式比较符合对象存储的设计特点，同时视频网站在内容生产过程中又有大量其他文件和数据需要存储，所以可以使用Ceph来提供统一的对象存储、块设备和文件系统。相比之下，HDFS比较传统，稳定性好，Ceph功能强大、可扩展性好，但是稳定性尚不佳，代码中还有些bug。如果用HDFS，网站随机访问数据的存储还需要用诸如GlusterFS和Swift的方案存储。所以我个人看法是研发能力比较强的公司上新系统选Ceph比较好；而研发能力不足，想借助开源节省成本的话，HDFS对于视频网站来说是不错的选择。

推荐阅读

上一篇：「趣头条」给老婆和自己的一个礼物

下一篇：百度搜索推广托管这个项目咋样