超大数据量,怎样加快写文件的速度( 八 )




图35 部署结构
以上便是我们应用分布式并行计算技术,在海量批量业务处理中的一些实践。随着政企应用逐渐向云、虚拟化等基础设施迁移,对互联网技术应用的加深,分布式并行计算技术将成为海量批量业务处理的首选方案,希望我们对此类产品的业务开发、作业调度、集群部署、高可用性、故障处理、逻辑更新、运维监控等七方面的考量标准,能够帮助大家在类似场景下快速确定合适的产品或方案,达成项目目标。

■网友
源数据是什么格式?可否用load方式导入数据库,编写程序分批次并行操作数据库,生成符合要求的文件。大型机处理亿级别的数据,应该1个小时足够了。
■网友
并行不可以么?


推荐阅读