百度垂类离线计算系统发展历程( 六 ) _垂类离线计算

下面针对问题分析引擎的执行结果如下:

文章插图

前提: 开发者需要配置好处理逻辑规则（以及规则依赖的数据项，必填） & 回调函数（选填）。
数据解析器: 数据解析器主要承担的数据的原始抽取的工作，一共分成如下3步：

a.配置解析: 逻辑执行根据开发者配置的数据信息解析；
b.数据抽取: 根据解析出来的配置通过数据接口进行获取，可以从统一接口根据配置的信息从不同的介质充抽取所需求的信息；
c.数据归一化: 将不同介质的原始数据归一化成为统一的数据格式供规则管理器使用。

规则管理器: 规则管理器主要承担核心的逻辑分析工作，一共分成如下几步:

a.规则解析: 根据开发者配置的规则逻辑，将原始配置信息，解释成原始的规则树。
b.执行计算: 根据数据解析器提供的数据结果和配置的函数规则分别执行计算。执行计算过程中最重要的就是基础分析器，整体提供了5大基础能力，数十种常见的逻辑计算来辅助规则配置。
c.规则逻辑运算: 根据上层解析出来的规则树和每个数据项执行完成的计算结果进行逻辑运算，并根据执行的结果确定是否进行高级数据分析器，如果判断结果为真则根据所配置的后置函数进行处理。

高级数据分析器: 如图所示有两种模式，对于简单基础分析可以判断结果的，直接给默认的处理函数进行数据拓传；对于简单逻辑规则无法准确表达的，开发者可以自定义后置分析函数，函数会将原始数据和基础计算的计算结果作为参数传出来，开发者只需要通过处理后的数据描述清楚分析逻辑即可。
动作执行器: 就是这个分析器的真正的执行引擎，根据规则运算的结果中包含的参数进行动态调整。

通过智能控制系统的建设，月级别分析处理上万的异常问题，自动恢复的比例占总数的95%以上，绝大多数的问题几分钟内完成自动恢复，核心故障同比减少60% （由于预处理防止普通问题恶化成严重问题）。
GEEK TALK
04
结论以及展望
本文全篇以离线计算系统的发展为主线，贯穿全文讲解遇到的问题以及解决方案。尤其是当前新一代架构核心就是以数据+功能为核心的声明式的设计，配合高效计算引擎、配合智能化的设计，把整体的离线计算系统的高度做了进一步提升。设计中其实还是虽然解决了过去的很多问题，但是仍然有不完善的地方，当然当前的效果还远没有达到最终的理想状态，部分系统功能有待持续性的打磨升级。