BAT互联网的大数据OLAP怎样解决查询延时
从技术角度上讲,解决大数据 OLAP 的查询延时基本有这个几个主要方向:并行计算(提高并发)、提升硬件性能如内存、磁盘,网络(提升I/O速度)、内存计算、列式存储、数据压缩、预计算、SQL解析引擎优化等。
具体到BAT是怎么做的,我们简单说一下:
【BAT互联网的大数据OLAP怎样解决查询延时】 关于百度,推荐大家了解一下Doris,以前叫 Palo,是百度自研的基于MPP的交互式SQL数据仓库,具体参见: https://www.zhihu.com/question/285347521
关于阿里,推荐大家了解一下阿里的分析型数据库AnalyticDB,具体可以参考这篇专栏文章:https://zhuanlan.zhihu.com/p/50590290
关于腾讯,推荐大家了解一下腾讯自研的HTAP数据库TBase,具体可以读读这篇资料:https://zhuanlan.zhihu.com/p/77304951
当然以上只是各家自己的 OLAP 核心技术和产品,但不一定是全部。在某些特定场景下,这些厂家也会使用其他技术和手段做有效补充,比如各种大数据 OLAP 开源软件,类似于Apache Kylin,比如通过预计算建立汇总数据层等。
■网友
Impala很适合低延迟,全扫描的查询
■网友
不谈具体这三家怎么做。看你这个数据量大是哪个数量级。如果在TB级别的话,可以用分布式内存数据库把数据都保存在内存中,那个延迟就非常小了,可以达到500微妙这个级别。典型的产品有vmware的gemfire,SAP的hana,Oracle的timesten,开源的hazelcast。当然,这个方案成本比较高,在oltp中用得更多。典型的案例有http://12306.cn使用gemfire来处理春运购票。
■网友
可以看看presto和pinot
■网友
索引!可以看看garuda/ADS
推荐阅读
- “一部手机读云南”上线力争建成国家方志大数据中心西南中心
- 长春评选“网络奋斗者”:互联网成更多普通人创业工具
- 联合国大数据全球平台中国区域中心在杭州成立
- 互联网怎样解决“家政服务上门速度慢”的问题
- 银行的数据中心可以跳槽去互联网公司吗
- 互联网在线音乐行业有哪些可能的盈利模式
- |大数据赋力 半个多月前拉客的“黑车”精准落网
- |常信院在第六届中国国际互联网+大赛中再夺金
- 互联网科技公司技术投入占比(占收入)?
- 数据采集终端|
