长理职培窦老师|2021年国家电网招聘考试通信类高频考点:大数据


北京联盟_本文原题:2021年国家电网招聘考试通信类高频考点:大数据
大数据:
“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产 。 大数据处理关键技术一般包括:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等) 。
【长理职培窦老师|2021年国家电网招聘考试通信类高频考点:大数据】长理职培窦老师|2021年国家电网招聘考试通信类高频考点:大数据
本文插图

1、Hadoop
是开源大数据项目的总称 , 是一个由Apache基金会所开发的分布式系统基础架构 , 主要是由HDFS和MapReduce组成 , HDFS为海量的数据提供了存储 , 则MapReduce为海量的数据提供了计算 。
MapReduce是处理大量半结构化数据集合的编程模型 。 编程模型是一种处理并结构化特定问题的方式 。 例如 , 在一个关系数据库中 , 使用一种集合语言执行查询 , 如SQL 。 告诉语言想要的结果 , 并将它提交给系统来计算出如何产生计算 。 还可以用更传统的语言(C++ , Java) , 一步步地来解决问题 。 这是两种不同的编程模型 , MapReduce就是另外一种 。


    推荐阅读