数据分析的发展将会有怎么样的趋势( 三 )
Apache Hadoop项目包括四个模块：Hadoop Common（实用程序），Hadoop分布式文件系统（HDFS），Hadoop YARN（调度程序）和Hadoop MapReduce（并行处理）。除此之外，人们还经常使用一个或多个相关项目：Ambari（集群管理），Avro（数据序列化），Cassandra（多主数据库），Chukwa（数据收集），HBase（分布式数据库） ，Hive（数据仓库），Mahout（ML和数据挖掘），Pig（执行框架），Spark（计算引擎），Tez（旨在取代MapReduce的数据流编程框架）和ZooKeeper（协调服务）。
如果这还不够复杂，请考虑Apache Storm（流处理）和Kafka（消息传输）。而且现在还需考虑供应商的附加价值：亚马逊（Elastic Map Reduce），Cloudera，Hortonworks，微软（HDInsight），MapR和SAP Altiscale。现在困惑了吗？
4. ↗ 升温：R语言
数据科学家有很多可以通过统计方法分析数据的选择。其中一个最方便和最强大的方法是使用免费的R编程语言。R语言是创建可重复的、高质量分析的最佳方法之一，因为与电子表格不同，R脚本可以轻松审核和重新运行。R语言及其软件包存储库提供了广泛的统计技术，数据操作和绘图，夸张到你可能可以在R软件包中实现任何一种已存在的技术。同时，R语言在支持机器学习方面也同样强大，尽管它可能不是深度神经网络的首选，但要找到比R语言能提供更高性能的计算的技术确实十分困难。
R作为免费开源码，已经嵌入到许多商业产品中，包括Microsoft Azure Machine Learning Studio和SQL Server 2016。
5. ↗ 升温：深度神经网络
一些人认为最强大的深度学习算法是深度神经网络（DNN），它是由交替的线性和非线性处理单元的许多层数（因此称为“深度”）构成的神经网络，并且使用了大规模算法和大量训练数据进行训练。一个深度神经网络可能有10到20个隐藏层，而一个典型的神经网络可能只有少数几个。网络中的层数越多，它识别的特征就越多。不幸的是，网络中的层数越多，计算所需的时间也会越长，训练的难度也越大。
【数据分析的发展将会有怎么样的趋势】 6. ↙ 冷却：物联网
物联网（IoT）可能是迄今为止“炒作”最成功的技术，它的出现也可能是互联网安全史上最糟糕的事情。
物联网技术一直受到智能家居，可穿戴设备，智能城市，智能电网，工业互联网，联网汽车，互联健康，智能零售，农业以及许多其他场景的吹捧。如果物联网的实现是安全的，那么这些应用程序中的许多应该是有意义的，但总的来说我们还没有看到它们发生。
事实上，制造商经常犯下基本的设计错误。在某些情况下，智能设备只有在连接到Internet并且可以到达制造商的服务器时才能工作。当制造商停止对产品的支持时，产品就没法实现应有的功能了，就像Sony Dash和早期的Nest温度计一样。将远程互联网连接的服务器包括在控制回路中也会在控制回路中引入显着且可变的滞后，这会引入不稳定性。
更糟糕的是，制造商急于将他们的“东西”连接到互联网，然后就暴露了可被黑客利用的漏洞，导致汽车被远程接管，家用路由器被纳入僵尸网络进行DDoS攻击，公共电网在某些地区被摧毁......
如何保证物联网设备的安全？为什么制造商不关注？
在解决安全问题之前，物联网的数据分析将比奖励更具风险。
7. ↗ 升温：TensorFlow
TensorFlow是谷歌的开源机器学习和神经网络库，它是谷歌所有应用机器学习服务的基础。翻译、地图和Google应用程序等都是使用我们智能手机上运行的基于TensorFlow的神经网络。TensorFlow模型支持用于谷歌云自然语言、语音、翻译和视觉的应用机器学习API。
一旦数据科学家克服了学习框架的巨大障碍，他们也将开始使用TensorFlow，因为TensorFlow具有深度灵活性、真正的可移植性、连接研究和生产的能力、变量的自动区分能力，以及通过在CPU上优先考虑GPU来使性能最大化的能力。
推荐阅读
- 张敬华■拥江发展新地标 南京江心洲长江大桥开通运营 桥+隧
- [技术创新]苏州创建国家级充换电技术创新中心 助力新能源行业发展
- 长三角高质量一体化发展指数发布
- 「技能」首届全国技能大赛江苏勇夺第二为经济高质量发展提供人才保障
- 小区■全民共享发展成果 江苏淮安：老旧小区“华丽转身”
- 为啥看到书柜上的藏书会有心旷神怡的感觉
- 特斯拉|热评 | 加强OTA技术召回监管将有助于汽车产业健康发展
- |中天钢铁获评“2020绿色发展标杆企业”
- |沪苏浙皖文物部门推动文物行政执法一体化发展
- 枸杞|每天用枸杞泡水，身体会有4个可喜变化，但有些人享用不了