江苏龙网

  1. 首页 > 生活 > >

京东的云平台用hadoop搭建的，那hadoop计算出来的小结果数据，是咋与bi工具或者ui报表衔接的

sqoop算是etl 解耦用的吧
■网友
一般用sqoop把hive结果导出到关系型数据库中，只能放很小的数据集，比如各种metrics。
■网友
不太理解题主问题里面的云平台的具体含义，一般而言 hadoop是后端分布式文件系统，经常和各cloud配套搭建，但是实际上应该是openstack或者KVM或者cloudstack来搭建吧。--------------------------我所知道的hadoop结合BI做数据挖掘的例子，采用的是hadoop hive 同步计算结果报表到oracle，然后再接BI工具。和云平台是什么搭建的没有太直接关系，hadoop直接挂出去就行。
■网友
结果级的数据相对来说已经较小了，可以通过较成熟的数据库工作接纳，然后再连接BI系统进行前端展示。
■网友
我觉得还存在一个专门与前台交互的数据库，hadoop在完成数据的操作后会将结果数据返回给前台所使用的数据库，当然返回的数据量级经过hadoop的处理已经变得很小了，前台做报表展示时只需要从这个数据库中读取数据就可以了
■网友
因为之前的BI业务非常复杂，大量使用HiveSQL，PLSQL，所以我们定义了工作流，数据到哪个节点做什么操作，输入输出都是什么，从哪里来，到哪里去都做了优化之前大量使用sqoop，方便HDFS HBase与Oracle MySQL的交互


    推荐阅读


    上一篇：作为公卫人，怎样找准自己定位?

    下一篇：互联网智能硬件公司怎样科学计算获取一位新用户的市场营销成本