第一阶段—大数据基础课
主讲内容
• Redis存储
• HBase存储
• ELK
可掌握的核心能力
1、掌握Redis原理及架构;
2、掌握Redis命令操作、数据结构;
3、掌握Hbase原理及架构;
4、掌握HBase命令操作、MapReduce编程;
5、掌握Phoneix二级索引优化查询;
6、掌握ELK开发。
可解决的现实问题
具备使用Hbase和Redis开发调优能力、ELK海量数据处理能力。
第二阶段—Java语言编程
主讲内容
• 编程基础
• 面向对象
• 常用类
• 集合操作
• I0操作
• Java基础增强
• 爬虫案例
可掌握的核心能力
1、掌握Java程序基础数据类型;
2、掌握开发中常用类如集合、I0流、常用类等操作;
3、掌握Java异常处理机制;
4、掌握反射、网络编程、多线程开发;
5、掌握Jsoup的网络爬虫开发;
6、掌握JDBC数据库连接操作;
7、掌握ETL数据处理和BI报表开发 。
可解决的现实问题
具备JavaSE开发能力。
第三阶段—Hadoop技术栈
主讲内容
• Linux操作系统
• 大数据基础和硬件介绍
• Zookeeper
• HDFS
• MapReduce
• Yarn
• Hive
可掌握的核心能力
1、掌握Shell命令;
2、掌握zookeeper原理并应用;
3、掌握HDFS的使用和MapReduce编程;
4、理解MapReduce原理和调优;
5、掌握Yarn的原理和调优;
6、掌握Hive的使用和调优。
可解决的现实问题
具备Hadoop开发能力、离线数据仓库开发能力。
第四阶段—后端数据微服务接口开发
主讲内容
• Spring
• Spring Boot
• Spring Cloud
• Spring Cloud案例
可掌握的核心能力
1、掌握SpringBoot整合SpringMVC开发;
2、掌握SpringBoot整合MyBatis开发;
3、掌握Eureka搭建;
4、掌握Feign的使用。
可解决的现实问题
具备后端数据微服务接口开发,可胜任通过Spring技术架构完成微服务搭建。
可完成企业级数据微服务接口开发。
第五阶段—NoSQL存储
主讲内容
• Redis存储
• HBase存储
• ELK
可掌握的核心能力
1、掌握Redis原理及架构;
2、掌握Redis命令操作、数据结构;
3、掌握Hbase原理及架构;
4、掌握HBase命令操作、MapReduce编程;
5、掌握Phoneix二级索引优化查询;
6、掌握ELK开发。
可解决的现实问题
具备使用Hbase和Redis开发调优能力、ELK海量数据处理能力。
第六阶段—Flink技术栈
主讲内容
• Kafka
• Flink流式计算
• Flink批处理
• Flink Core
• Flink SQL
• Flink综合案例
可掌握的核心能力
1、掌握Kafka原理及架构;
2、掌握KafkaStreams开发;
3、掌握基于Flink进行实时和离线数据处理、分析;
4、掌握基于Flink的多流并行处理技术;
5、掌握千万级高速实时采集技术。
可解决的现实问题
具备Kafka消息队列开发和调优能力、Flink流式和批量数据开发能力。
第七阶段—Spark技术栈
主讲内容
• Scala语言
• Spark core
• Spark sql
• SparkStreaming
• Structure streaming
可掌握的核心能力
1、掌握Scala语言基础、数据结构;
2、掌握Scala语言高阶语法特性;
3、掌握Spark的RDD、DAG、CheckPoint等设计思想;
4、掌握SparkSQL结构化数据处理,Spark 0n Hive整合;
5、掌握SparkStreaming整合Kafka完成实时数据处理;
6、掌握SparkStreaming偏移量管理及Checkpoint;
7、掌握Structured Streaming整合多数据源完成实时数据处理。
可解决的现实问题
具备Spark全栈开发能力,满足大数据行业多场景统一技术栈的数据开发,提供就业核心竞争力。