江苏龙网

  1. 首页 > 人文 > >

#SQL#构建实时数据仓库首选，云原生数据仓库AnalyticDB for MySQL解密


阿里云分析型数据库重磅推出基础版 ， 极大降低了用户构建数据仓库门槛 。 高度兼容MySQL ， 极低的使用成本和极高的性能 ， 使中小企业也可以轻松的搭建一套实时数据仓库 ， 实现企业数据价值在线化 。
AnalyticDB for MySQL的产品系列包括基础版（单机版）和集群版 ， 基础版为单个节点提供服务 ， 极简的架构大大的降低了基础版的成本 。 存储计算分离架构、行列混存技术、轻量的索引构建方式和分布式混合计算引擎又保证了基础版强大的分析性能 。 年成本不到一万就可以构建一套实时数据仓库 ， 无需成立专门的大数据团队 ， 为企业节省百万成本 。
1.基础版技术架构 如下为基础版架构图 ， 整体由Coordinator和Worker组成 ， 各自的职责如下介绍 。
#SQL#构建实时数据仓库首选，云原生数据仓库AnalyticDB for MySQL解密
本文插图
1.1 Coordinator: 前端控制节点 ， 职责包括 （1）MySQL协议层接入 ， SQL解析
（2）认证和鉴权 ， 提供了更完善和细化的权限体系模型 ， 白名单和集群级别RAM控制 ， 并审计与合规记录所有SQL操作 。
（3）集群管理：成员管理、元数据、数据一致性、路由同步、备份与恢复（数据与log管理)
（4）后台异步任务管理
（5）事务管理
（6）优化器 ， 执行计划生成
（7）计算调度 ， 负责执行任务调度
1.2 Worker: 存储和计算节点 ， 包含 【#SQL#构建实时数据仓库首选，云原生数据仓库AnalyticDB for MySQL解密】（1）计算模块
分布式MPP+DAG混合计算引擎和优化器达到了更高的复杂计算能力和混合负载管理能力 。 利用阿里云计算平台之上资源灵活调度上的优势 ， 实现了计算资源的弹性调度 。 计算 Worker节点可以单独拉起 ， 因应业务需求做到分钟级甚至秒级扩展 ， 实现资源的最有效利用 。
（2）存储模块
存储模块更加轻量化 ， 具备了承载更大吞吐数据实时写入和读取能力 ， 写入性能比之前版本同等规格高50%倍左右 ， 毫秒级可见 ， 满足客户实时分析需求 。
存储节点提供全量和增量备份和恢复能力 ， 云盘的定期快照和日志会实时同步到OSS中保存 ， 对用户数据提供更高的安全保障 ， 帮助用户在数据库发生问题时最大限度的找回 。
（3）Worker Group
带存储模块的Worker节点被划分为一个个节点组（Worker Group） ， 集群版提供三副本的存储 ， 通过Raft分布式一致性协议像一个整体一样工作 ， 允许其中一些Worker节点出现故障也能继续提供服务 ， 基础版只有单副本提供服务 。
2.基础版优化器 优化器负责对Parser生成的语法树进行处理 ， 通过优化算法生成代价最优的计划提供给计算引擎 。 计划代价直接影响查询性能 ， 因此优化器是数据库中最核心的模块之一 。 基础版采用了与集群版一样强大的优化器 ， 包含基于规则、基于代价、和基于模式的多种复合优化技术 。

#SQL#构建实时数据仓库首选，云原生数据仓库AnalyticDB for MySQL解密
本文插图
复杂分析型查询经常包含多表join ， 表的join顺序直接影响查询性能 。 AnalyticDB优化器采用了基于代价估算和实时采样信息的join order优化算法 ， 能够感知底层存储的数据分布 。 优化器利用AnalyticDB全索引特征提高了过滤因子（filter factor）估算的准确性 。 针对复杂join ， 优化器基于数据分布信息动态调整join order ， 同时评估数据reshuffling的代价 ， 来从全局代价的维度选择最优的执行计划 。
AnalyticDB优化器在经典基于规则优化器（Rule-Based Optimizer）的基础上增加了代价估算和迭代优化 ， 并且集成了Cascades CBO（Cost-Based Optimizer）优化框架 。 CBO搜索框架会调用 Property Enforcement模块生成分布式执行计划 ， 然后调用代价估算模块 ， 给每一种候选计划评估代价 ， 选择最优的分布式执行计划 。 为了进一步提高join order的优化效果和效率 ， AnalyticDB优化器还采用了基于历史信息的优化技术（History-Based Optimizer）、基于常见SQL模式的动态优化技术（Pattern-Based Optimizer） ， 以及数据驱动的智能技术 ， 例如Auto Analyze模块自动搜集统计信息 ， 为优化器搜索最佳计划提供准确的数据支持 。


推荐阅读


上一篇： #疫情防控#武汉“解封”，中国战疫的高光一刻

下一篇： 【潜力】山东未来最有“潜力”的城市，有望成为第二个济南，却不是烟台