Python SQL Hadoop分别用来干嘛的?
谢邀Python 编程语言的一种,因为简洁的语法适合于去做数据分析处理方面的.SQL 数据库(看名字就知道偏向存储)Hadoop. (1)Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据,是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS(文件系统,数据存储技术相关)+ Mapreduce(数据处理)(2)Hadoop就是一个分布式计算的解决方案。
■网友
SQL是从数据库里提取数据的工具,Python是处理数据、分析数据和做工程的一种编程语言,Hadoop为数据存储、数据提取、数据分析提供了平台和框架。打个比喻,如果把数据分析和数据挖掘的过程比喻为厨师做菜,那么数据就是食材,SQL就是物流公司的运输车,Python相当于厨具,hadoop相当于菜园+厨房,数据分析师和数据挖掘工程师就是厨子。以下是一下免费的学习资料,希望对你有帮助Python电子书 简明 Python 教程 中文版Hadoop电子书分布式计算开源框架Hadoop+(入门实践) pdfSQL电子书 SQL必知必会(第3版) - PPV课-专注大数据培训-国内领先的大数据学习社区
■网友
举一个简单粗暴的栗子。
假设我想知道宠物品类下销量最高的10个猫粮牌子,数据存储在Hadoop上,我可以用 Hive SQL找出宠物品类的所有销售记录,生成一张数据表,然后用Python过滤出销量最高的10个猫粮品牌,最后再用Python做个直方图做展示。
学术定义前面回答得已经很好了,再补充一些个人学习笔记:
Hadoop: 将数据集分派到一个个普通计算机组成的集群的多个节点,能储存、索引、跟踪分布式数据
MapReduce: MapReduce为Hadoop提供数据处理功能,Hadoop自身的MapReduce可以对分布式数据进行处理。
MapReduce原理:我们要数图书馆中的所有书。你数1号书架,我数2号书架。这就是“Map”。我们人越多,数书就更快。现在我们到一起,把所有人的统计数加在一起。这就是“Reduce”。
【Python SQL Hadoop分别用来干嘛的?】
推荐阅读
- 怎样成为一名合格的Python程序员?
- python 爬虫,咋获得输入验证码之后的搜索结果
- hadoop中的mapreduce链接(mapreduce chaining)怎样避免中间文件的产生
- python的html5lib这个库咋使用啊我在网上也没有找到相关文档
- 零基础入门学习啥语言好
- 某些公司招聘要求中的精通mysql是啥程度
- Python3.4和3.5区别大么
- python 中 def_():...... return _有啥作用
- 新互联网网站用Java还靠谱么对比Php,Python,Ruby的话
- 30岁男,创业失败转行学python,是否很晚?也不好找工作?
