江苏龙网

  1. 首页 > 生活 > >

大怎样学好大数据需要掌握哪些基础工具

现在有时间，先讲一下必备的技能。
一、Hadoop
Hadoop生态系统安装部署（单机、伪分布式、完全分布式）HDFS及读写原理MapReduce V1、V2框架WordCount编码详解原理 Mapper、Reducer、Combiner、InputFormat、Writable、ComparableHDFS HA原理、部署数据去重、单表关联、多表关联、PageRank、二次排序、倒排索引、TF-IDF二、Hive
Hive安装与配置Hive 内建操作符与函数开发Hive JDBChive参数Hive 高级编程Hive QLHive Shell 基本操作hive 优化Hive体系结构Hive的原理三、PIG
pig的概念及优点关系（relation）、包（bag）、元组（tuple）、字段（field）、数据（data）的关系FLATTEN操作符的作用GROUP操作符数据操作相关多维度组合操作技巧pig脚本四、 Zookeeper
ZooKeeper安装配置Zookeeper命令操作构建ZooKeeper应用管理分布式环境中的数据ZooKeeper机制架构一致性原理ZooKeeper伸缩性五、 HBase
Hbase基础概念hbase数据模型Hbase物理模型Hbase架构Hbase应用六、 Mahout
一图胜千言，图片来自：Mahout学习路线图
大怎样学好大数据需要掌握哪些基础工具

七、 Sqoop
1、配置Sqoop2、使用Sqoop把数据从MySQL导入到HDFS中3、使用Sqoop把数据从HDFS导出到MySQL中 八、 Cassandra
Cassandra 的数据存储结构Cassandra 节点的安装和配置常用编程语言使用 Cassandra 来存储数据搭建 Cassandra 集群环境、当然这几个还远远不够，看看 Mahout 的思维导图就能发现还有很多我们没有提到。
但是这么边写边找资料实在是累，答主的知识覆盖面也非常有限，歇一会儿有时间了更新。

■网友
这里给楼主系统的分享一下学习相关路线吧，所需要掌握的知识点
第一阶段(Java基础)
Java语言的高级特性静态导入、自动封箱拆箱、可变参数、增强for、枚举、类加载器、反射、内省、泛型、注解、动态代理回、掌握Java语言的高级特性
Java多线程多线程加强、线程池、Thread Local、掌握Java线程池技术，掌握线程的Join、notify、notifyAll等机制
XMLDom解析、Sax解析、Pull解析、基于Xml的解析与维护
WebHtml,Css,Js、掌握简单的Html，Css，Js的编写
【大怎样学好大数据需要掌握哪些基础工具】 第二阶段(Web阶段
JAVAWEB前端技术；项目介绍、项目开发流程、Html、CSS、JS、了解真实项目开发流程、掌握前端开发基本技术
JAVAWEB基础技术；Tomcat、HTTP协议、Servlet、Jsp、EL、JSTL、自定义标签、MVC、JAVAWEB三层架构、软件分层、耦合、解耦、AJAX掌握JAVAWEB基础知识、深入理解软件分层思想、AJAX实现异步刷新
JAVAWEB高级技术；Filter、Listener、文件上传、下载、在线支付、过滤器、监听器及常见应用场景、文件上传、下载、在线支付功能实现 aa
JAVAWEB框架加强；面向切面编程、通过注解控制事务、java基础加强、框架加强JAVA高级特性
熟悉常见设计模式、通过模拟实现框架功能，为后续学习SSH打基础
第三阶段(Struts,Hibernate,Spring
大怎样学好大数据需要掌握哪些基础工具

大怎样学好大数据需要掌握哪些基础工具

第四阶段(SpringMVC,Mybaties
大怎样学好大数据需要掌握哪些基础工具

第五阶段(分布式、高并发、集群
大怎样学好大数据需要掌握哪些基础工具


推荐阅读


上一篇：小白怎样自学电子硬件开发

下一篇：骂百度的人都知道Google也上过假药广告么