超大数据量,怎样加快写文件的速度( 七 )

图23 任务逻辑封装
平台提供“上传”操作,将“任务包”分发至所有节点。各类节点启动时,必须完成同步“任务包”操作后才可以运行,上传操作界面如图24所示。
图24 上传操作界面
任务逻辑更新
任务包根据其Hash值自动生成版本。
任务包上传时,如果其Hash产生变化,将生成新的版本。
任务执行时,以提交到集群时间点确定任务版本。具体效果为,任务逻辑更新生效后,生效时间点之后的任务按照新逻辑执行,之前提交的任务按照旧逻辑执行。
● 8.8 运维监控
平台提供全图形化管控中心,实现单点控制多个集群,将运维工作量减少到最低。
节点状态及控制(图25)
图25 节点状态及控制
任务状态及控制(图26-29)
图26 任务队列
图27 变更任务优先级
图28 任务查看
图29 统计分析
● 8.9 节点维护
对节点日常批量操作,如配置更新,版本更新等等,全部工具化,规避手动操作错误。提供批量节点配置维护工具、节点程序版本切换工具。如图30-31所示。
【超大数据量,怎样加快写文件的速度】
图30 Manager配置
图31 配置维护
● 8.10 故障告警
除了节点状态告警之外,还增加任务平均等待时间,队列长度等反映负载情况的告警。如图32-33所示。
图32 队列长度告警
图33 配置描述
图34是本案分布式并行批量处理平台架构:
图34 分布式并行批量处理平台架构
图35是部署架构:
推荐阅读
- 聪明人养花,这3种“花”怎样也要养一盆,每年能省不少医药费
- 最适合客厅摆放的15种大厅绿植,超大气漂亮
- “一部手机读云南”上线力争建成国家方志大数据中心西南中心
- 上海构建现代环境治理体系集成示范区打造超大城市生态环境治理的“样本”
- 联合国大数据全球平台中国区域中心在杭州成立
- 互联网怎样解决“家政服务上门速度慢”的问题
- 怎样看待从1月8号起,QQ钱包开始提现收费
- 银行it人怎样转型
- 银行的数据中心可以跳槽去互联网公司吗
- 汽车|冬天怎样让车内温度快速升高?座椅加热的最佳使用方式二,外循环的作用总结
