BAT互联网的大数据OLAP怎样解决查询延时

从技术角度上讲,解决大数据 OLAP 的查询延时基本有这个几个主要方向:并行计算(提高并发)、提升硬件性能如内存、磁盘,网络(提升I/O速度)、内存计算、列式存储、数据压缩、预计算、SQL解析引擎优化等。
具体到BAT是怎么做的,我们简单说一下:
【BAT互联网的大数据OLAP怎样解决查询延时】 关于百度,推荐大家了解一下Doris,以前叫 Palo,是百度自研的基于MPP的交互式SQL数据仓库,具体参见: https://www.zhihu.com/question/285347521
关于阿里,推荐大家了解一下阿里的分析型数据库AnalyticDB,具体可以参考这篇专栏文章:https://zhuanlan.zhihu.com/p/50590290
关于腾讯,推荐大家了解一下腾讯自研的HTAP数据库TBase,具体可以读读这篇资料:https://zhuanlan.zhihu.com/p/77304951
当然以上只是各家自己的 OLAP 核心技术和产品,但不一定是全部。在某些特定场景下,这些厂家也会使用其他技术和手段做有效补充,比如各种大数据 OLAP 开源软件,类似于Apache Kylin,比如通过预计算建立汇总数据层等。

■网友
Impala很适合低延迟,全扫描的查询
■网友
不谈具体这三家怎么做。看你这个数据量大是哪个数量级。如果在TB级别的话,可以用分布式内存数据库把数据都保存在内存中,那个延迟就非常小了,可以达到500微妙这个级别。典型的产品有vmware的gemfire,SAP的hana,Oracle的timesten,开源的hazelcast。当然,这个方案成本比较高,在oltp中用得更多。典型的案例有http://12306.cn使用gemfire来处理春运购票。
■网友
可以看看presto和pinot
■网友
索引!可以看看garuda/ADS


    推荐阅读