大数据怎样在企业落地( 七 )
那么第一个问题其实不是如何解决,而是“提出问题”,提出好问题,再基于这个问题去思考是否有数据可以支持?如何支持。提出问题的关键就在于培养“数据意识”,让一线业务人员、业务管理人员意识到,遇到问题“想数据、找数据”,长期下去总会有成果。
一般情况下,只要让业务人员尝到一点“甜头”,其主动性就会被激发出来,就很有利于培养数据意识。
2、数据处理技术的提高:
有了数据意识,实际落地时就要考虑很细节的问题了:数据存储在哪里,有多少量,如何分析计算等问题,数据处理技术的提高也是很关键的,很多企业都有基于Oracle、MySQL的数仓,数仓建好之后随着数据量的爆发,发展新的业务,开展新的数据分析主题时可能就会发现原有的数仓计算能力受限,无法灵活扩展,还需要迁移到大数据平台上来,利用Hadoop、Spark等新技术来提升数据处理的能力。
大数据技术说完大数据理念,后面谈一下大数据技术的落地,也就是这个过程:
整体方案设计
组件选型
安装部署
详细可参考我的另一篇回答:《张利:如何搭建大数据分析平台?》
但是大数据平台的搭建非常复杂,安装部署等非关键环节会消耗企业人员大量的时间,这时也可以考虑商用软件,市面上有很多成熟的商用大数据平台,Cloudera、星环、华为、亚信等等,都有对应的产品线,我司也有一款非常优秀的大数据平台产品:数栈。
数栈主要有以下几个特点:
1、完全基于开源:基于开源Spark(离线)、Flink(实时)计算引擎,绑定性不强,很多企业担心被某一家供应商绑定,但数栈完全基于开源,不存在这个问题;
基于这一点,其实企业也可以自行搭建底层平台,而数栈只是提供开发套件(包括数据集成、计算任务管理,用户可以直接在WEB页面编写SQL逻辑代码、调度依赖配置等)
2、简单易用:数栈包含数据开发套件、数据计算引擎(Spark、Flink)、数据治理套件(数据地图、数据质量、数据模型)、数据应用引擎(数据API),覆盖了企业内的数据采集、数据统计分析与挖掘、数据治理、数据开放的全链路,并同时覆盖离线分析与实时分析,满足企业内的各种数据处理需求。
3、性价比高:很多传统企业的数据量其实并不是特别大,例如几百GB、1,2TB,数栈最小支持3台虚拟机部署,与其他厂商动辄几十、上百个节点相比,成本可以降低很多;
数栈与搭建大数据团队的关系又是怎样的呢?
——数栈是开发团队的生产力工具,有了它可以让开发团队用大数据平台用的更爽,更好,解决需求的速度更快,同时基于开源的技术,开发人员编写MapReduce代码进行运行,可以在数栈上面配置任务调度、依赖关系,查看运行日志,也加快了团队的成长速度,因此数栈的引入,其实是开发团队的一个好帮手,让团队更有效率。
■网友
企业可以采用聚焦重点的策略,一边追求大数据带来的价值,一边以协调的方式发展自己的大数据能力。通过5个步骤,从数据中获得经验并将经验教训应用到工作中去,形成大数据视野。
1、聚焦重点公司聚焦能力的关键在于它确定优先级的能力。然而,这往往是公司最薄弱的能力之一。波士顿咨询公司(以下简称BCG)调查发现,受访者表示他们排列各种大数据机遇的优先级的能力很低,如果在1~5分之间打分,平均得分仅为2.5。企业需要发展该项能力,以集中精力开展最佳举措以及培育其它能力。
2、对大数据方案进行调查的最佳方式如何确定最佳机遇? 面对利用数据的多种方法,企业必须排出优先级。这意味着评估每一种大数据方案的潜在利益,以及它们的可行性。
为了分析利益,公司需要一种定制但结构化的方法——使用企业目前的目标和优先级来建立一套标准,并分别给予权重。评分后,每项举措的相应位置就绘制完成了。 
推荐阅读
- 聪明人养花,这3种“花”怎样也要养一盆,每年能省不少医药费
- 服贸基地■江苏认定首批服贸基地和服贸重点企业
- “一部手机读云南”上线力争建成国家方志大数据中心西南中心
- 浙江“最美建设人”丁泽成:青年企业家传承浙商品质
- 文旅上下游企业“抱团”助力旅游市场回暖
- “十三五”期间新增减税降费累计将达7.6万亿元左右——为企业减负 为创新加油
- 联合国大数据全球平台中国区域中心在杭州成立
- 『黄金时间』请认准这个蓝色的标志! 黄金时间丨同行业中用水最少的企业
- 黄金时间■黄金时间丨江苏企业节水改造缺钱?快来申请“节水贷”
- 黄金时间■黄金时间丨你喝过和纯净水口感一样的海水吗?企业用风能代替网电加工淡化海水
