大数据类项目的项目管理流程是怎么样的( 五 )
2.数据采集:数据采集是一个很重要的工作,只有把数据采集来,才能进行一系列的大数据相关的工作。数据采集过程中,注意数据采集的有效性。
3.数据预处理:为了更好的、更有效的存储有价值的数据,同时方便系统对数据的使用,部分数据可以做预处理。
4.数据质量:数据质量环节很重要,如何有效保证数据的质量?直接影响着大数据项目的实施效果,在这个环节中,要投入很多的精力去形成标准,并建立相对自动化的数据质量系统。
上述的几个环节,必要时需要借助专业的产品工具。
数据管理:数据管理工作,将影响项目的整个周期,建议采用专业的数据管理产品和工具,或借助有开发能力的供应商量身定做一套数据管理系统。
第三方数据:可以通过数据资产置换、购买等等方式完成第三方数据的接入
在整个第二阶段会形成一系列的标准和流程,这里不一一赘述
第三阶段:数据应用
第一、第二阶段工作完成以后,就将进入最重要的第三阶段工作,在这个阶段中,我们将承前启后的推动大数据项目完成落地工作,真正去形成大数据的应用,带来真实的业务价值:
场景细分:在这个阶段,对于第一阶段中形成的场景规划,要进行可被实现的场景细分,通过对场景的细分,形成一个个的用例(Use Case)。
干系组织利益共识:通过场景的细分后的一个个用例(Use Case),已经可以很好的明确给各干系组织带来的业务价值,在这个时候需要推动各个干系组织形成利益共识,以免由于利益问题导致项目执行的阻碍。
完成上述Action后,就需要借助供应商的参与和力量继续完成后续的Action。
1.功能规划:经过上述Action环节,项目已经进入重要的落地阶段,需要根据已经整理好的用例(Use Case)、数据,形成具体的功能规划。这些功能规划,需要是可被准确识别和实现的,直接对应了大数据应用系统的功能点。
2.技术选型:完成了功能规划,就需要进行技术选型工作,由于大数据相关的技术非常多,这项工作需要借助专业供应商的力量来一起完成,需要充分考虑非功能性指标,比如:性能要求等等。
3.产品选型:技术选型后,需要根据选择的技术路线,来找到可供选择的、符合技术路线的产品,完成产品选型工作,如:数据科学平台等等。
4.应用分析模型设计:大数据项目的一个重要的内容,就是要通过数据来形成各种应用分析模型,借助类似于数据科学平台类的产品,可以快速有效形成各种预测分析模型。完成这个环节的工作,需要有数据科学家、业务分析师等等一系列的角色参与相关工作。或者说引入第三方的成熟产品,如客户智能分析平台、物联网智能分析平台、运营智能分析平台等等,通过引入这些产品来直接引入成熟的分析模型。
技术选型、产品选型以及应用分析模型建立后,就需要进行验证工作了,主要包括场景PoC和商业验证。
PoC:选取具有典型代表意义的大数据应用场景,进行现场的PoC验证工作,通过PoC,修正和完善每个用例(Use Case),同时验证技术选型、产品选型的正确性,发现问题及时处理,甚至重新选择技术与产品。
商业验证:PoC环节完成后,还需要进行商业验证,验证和评估一些关键场景用例(UseCase)的应用效果,评估和预测是否可以达成商业目标,从而推导出达成商业目标可能存在的问题和风险,进行修订与处理,必要调整各个干系部门和干系人之间的利益共识。
第四阶段:迭代实施
前三个步骤阶段的工作有效得完成后,就进入了第四步骤阶段迭代实施,之所以是迭代实施,也跟大数据类项目的特征有关,就如大数据建立分析模型是一种探索的过程一样,大数据项目的执行也需要进行不断的验证、修正、实施这样的工作,可能需要经过多轮的迭代才能完成项目的建设:
1.模型应用:第三阶段中经过PoC和商业验证的模型,需要开发为特定的大数据分析应用才能最终为使用者所使用并发挥价值。在模型应用过程中,注意模型的规约和使用条件,注意与现有系统的融合。
推荐阅读
- “一部手机读云南”上线力争建成国家方志大数据中心西南中心
- 联合国大数据全球平台中国区域中心在杭州成立
- 银行的数据中心可以跳槽去互联网公司吗
- |大数据赋力 半个多月前拉客的“黑车”精准落网
- 数据采集终端|
- 关于用phpfsocket 写Post, 模拟http 报文怎样写入要传输的处理数据
- 假如把中国电信监测到的3亿人一个月每天上网的所有行为打个包,哪些数据应该被提出从这些数据能得到啥
- 游戏公司一般咋识别游戏脚本
- 城市数据团是怎么样一个团队
- 上海或苏州有没有比较好的大数据培训机构
