大数据学习路线.docx

大数据学习路线

第一篇：大数据学习路线大数据学习路线年薪30W大数据学习路线图：一、Hadoop入门，了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述6、Hadoop生态圈以及各组成部分的简介7、Hadoop核心MapReduce例子说明二、分布式文件系统HDFS，是数据库管理员的基础课程1、分布式文件系统HDFS简介2、HDFS的系统组成介绍3、HDFS的组成部分详解4、副本存放策略及路由规则5、NameNodeFederation6、命令行接口7、Java接口8、客户端与HDFS的数据流讲解9、HDFS的可用性（HA）三、初级MapReduce，成为Hadoop开发人员的基础课程1、如何理解map、reduce计算模型2、剖析伪分布式下MapReduce作业的执行过程3、Yarn模型4、序列化5、MapReduce的类型与格式6、MapReduce开发环境搭建7、MapReduce应用开发8、更多示例讲解，熟悉MapReduce算法原理四、高级MapReduce，高级Hadoop开发人员的关键课程1、使用压缩分隔减少输入规模2、利用Combiner减少中间数据3、编写Partitioner优化负载均衡4、如何自定义排序规则5、如何自定义分组规则6、MapReduce优化7、编程实战五、Hadoop集群与管理，是数据库管理员的高级课程1、Hadoop集群的搭建2、Hadoop集群的监控3、Hadoop集群的管理4、集群下运行MapReduce程序六、ZooKeeper基础知识，构建分布式系统的基础框架1、ZooKeeper体现结构2、ZooKeeper集群的安装3、操作ZooKeeper七、HBase基础知识，面向列的实时分布式数据库1、HBase定义2、HBase与RDBMS的对比3、数据模型4、系统架构5、HBase上的MapReduce6、表的设计八、HBase集群及其管理1、集群的搭建过程讲解2、集群的监控3、集群的管理九、HBase客户端1、HBaseShell以及演示2、Java客户端以及代码演示十、Pig基础知识，进行Hadoop计算的另一种框架1、Pig概述2、安装Pig3、使用Pig完成手机流量统计业务十一、Hive，使用SQL进行计算的Hadoop框架1、数据仓库基础知识2、Hive定义3、Hive体系结构简介4、Hive集群5、客户端简介6、HiveQL定义7、HiveQL与SQL的比较8、数据类型9、表与表分区概念10、表的操作与CLI客户端演示11、数据导入与CLI客户端演示12、查询数据与CLI客户端演示13、数据的连接与CLI客户端演示14、用户自定义函数（UDF）的开发与演示十二、Sqoop，Hadoop与rdbms进行数据转换的框架1、配置Sqoop2、使用Sqoop把数据从MySQL导入到HDFS中3、使用Sqoop把数据从HDFS导出到MySQL中十三、Storm1、Storm基础知识：包括Storm的基本概念和Storm应用场景，体系结构与基本原理，Storm和Hadoop的对比2、Storm集群搭建：详细讲述Storm集群的安装和安装时常见问题3、Storm组件介绍:spout、bolt、streamgroupings等4、Storm消息可靠性：消息失败的重发5、Hadoop2.0和Storm的整合：StormonYARN6、Storm编程实战第二篇：Java学习路线怎么学习Java，这是很多新手经常会问我的问题，现在我简单描述下一个Java初学者到就业要学到的一些东西：首先要明白Java体系设计到得三个方面：J2SE,J2EE,J2ME（KJAVA）。J2SE，Java2PlatformStandardEdition，我们经常说到的JDK，就主要指的这个，它是三者的基础，属于桌面级应用开发，这部分如果学得好很容易拓展J2EE和J2ME。J2ME，TheMicroEditionoftheJava2Platform。主要用于嵌入式Java，如手机，PDA等等。J2EE，Java2Platform，EnterpriseEdition，就是所谓的企业级Java，适合企业的大型应用开发。J2SE：新手最初学习的时候先要从J2SE开始学起，所包含的内容主要分为：面向对象概念的理解、Java基本语法的学习，Java桌面图形界面应用程序的开发，掌握常用的JavaAPI等（关键是要学会怎样查阅）。重点：Java基本语法（循环结构，数据类型，数组，运算符等）、Swing，awt，事件机制、文件输入输出流处理等难点：面向对象思想的理解（接口、类等）、线程、so