超大数据量,怎样加快写文件的速度( 七 )




超大数据量,怎样加快写文件的速度


图23 任务逻辑封装
平台提供“上传”操作,将“任务包”分发至所有节点。各类节点启动时,必须完成同步“任务包”操作后才可以运行,上传操作界面如图24所示。

超大数据量,怎样加快写文件的速度


图24 上传操作界面
任务逻辑更新

任务包根据其Hash值自动生成版本。

任务包上传时,如果其Hash产生变化,将生成新的版本。

任务执行时,以提交到集群时间点确定任务版本。具体效果为,任务逻辑更新生效后,生效时间点之后的任务按照新逻辑执行,之前提交的任务按照旧逻辑执行。
● 8.8 运维监控
平台提供全图形化管控中心,实现单点控制多个集群,将运维工作量减少到最低。
节点状态及控制(图25)


超大数据量,怎样加快写文件的速度


图25 节点状态及控制
任务状态及控制(图26-29)


超大数据量,怎样加快写文件的速度


图26 任务队列

超大数据量,怎样加快写文件的速度


图27 变更任务优先级

超大数据量,怎样加快写文件的速度


图28 任务查看

超大数据量,怎样加快写文件的速度


图29 统计分析
● 8.9 节点维护
对节点日常批量操作,如配置更新,版本更新等等,全部工具化,规避手动操作错误。提供批量节点配置维护工具、节点程序版本切换工具。如图30-31所示。


超大数据量,怎样加快写文件的速度
【超大数据量,怎样加快写文件的速度】

图30 Manager配置

超大数据量,怎样加快写文件的速度


图31 配置维护
● 8.10 故障告警
除了节点状态告警之外,还增加任务平均等待时间,队列长度等反映负载情况的告警。如图32-33所示。


超大数据量,怎样加快写文件的速度


图32 队列长度告警

超大数据量,怎样加快写文件的速度


图33 配置描述
图34是本案分布式并行批量处理平台架构:


超大数据量,怎样加快写文件的速度


图34 分布式并行批量处理平台架构

图35是部署架构:


超大数据量,怎样加快写文件的速度


推荐阅读