返回
北京中培软件开发培训
置顶
招生热线:400-656-1390

学校地址:北京市丰台育芳园东里三号楼B座

Hadoop大型应用开发实战培训

11 2023-10-23 08:41:57

学习笔记

关于举办Hadoop大型应用开发实战培训通知

各有关单位:

互联网企业和云计算服务企业每天都会产生大量的数据并面临高并发的严峻考验,传统的关系型数据库已经无法满足大数据量高并发的要求,何以解忧?Hadoop!我中心针对目前企事业单位信息技术研发人员对Hadoop大数据处理技术的紧迫需求,设计推出了Hadoop大型应用开发实战课程。具体课程事宜如下:

一、课程目标

  1. 掌握Hadoop的架构原理和使用场景;
  2. 全程项目实战训练;
  3. 彻底掌握使用Hadoop进行MapReduce程序开发;
  4. 熟悉分布式计算领域的常用算法;

二、学习对象

软件工程师、数据库开发人员、网络后台开发人员、运维人员等。学员要求有一定的Java编程基础。

四、授课师资

王老师 国内早从事于Hadoop框架应用程序软件开发以及Hadoop解决方案。业界知名IT技术培训讲师、多家公司的技术顾问。

五、培训证书

本课程颁发双证,证书查询:.ncie.gov;.zpedu

1、工业和信息化部人才交流中心颁发的《Hadoop架构师》证书。

2、中国信息化培训中心颁发的《Hadoop架构师》证书。

证书可作为专业技术人员职业能力考核的证明,以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。

六、培训费用

元/人(含培训费、考试费、证书费、资料费、午餐) 食宿统一安排,费用自理。(请学员带一寸彩照2张—背面注明姓名,身份证复印件一张)。

七、具体课程安排

日程

模块单元

模块单元

个主题:Hadoop MapReduce

1. Hadoop JobTracker 剖析

2.Hadoop TaskTracker 剖析

3.Hadoop 任务提交流程剖析

第2个主题: Hadoop MapReduce Streaming编程

1. Hadoop Streaming 和 Java MapReduce Api 差异

2. 使用 MapReduce 实现数据库功能

第3个主题:MapReduce分布式程序

1. MapReduce流程

2.剖析一个MapReduce程序

3.基本MapReduceAPI 概念

4.驱动代码

5.Mapper

6.Reducer

7.API 使用Eclipse进行开发

8.新MapReduce API

第4个主题:Hadoop 核心代码剖析

1. Hadoop Mapper 类核心代码剖析

2. Hadoop Reducer 类核心代码剖析

第5个主题:HDFS分布式文件系统编程

1. Hadoop HDFS 剖析

2. Hadoop NameNode 剖析

3. Hadoop DataNode 剖析

4. hadoop I/0 操作

5. 使用Hadoop HDFS API对HDFS编程

个主题:Hadoop Mapreduce编程

1.ToolRunner介绍

2.使用MRUnit进行测试

3.利用biners来减少中间数据

4.使用Configure和Close方法来进行Map/Reduce设置和关闭

5.编写Partitioner来优化负载平衡

6.直接访问Hadoop分布式文件系统(HDFS)

7.使用分布式缓存(Distributed Cache)

第2个主题:MapReduce的优化

1. map优化

2. reduce优化

3. 小文件优化

第3个主题:MapReduce的任务调度

1. Queue调度的使用

2. 公平调度的使用

3. 能力调度的使用

第4个主题:MapReduce编程实战

1. Hadoop的join操作

2. Hadoop的二次排序

3. Hadoop的海量日志分析

第5个主题:flume+hadoop日志收集实战

1. flume介绍

2. flume核心组件讲解

3. flume自带的组件分析

4. flume二次开发实战

个主题:Hadoop的来源和动机

1.传统大规模系统存在的问题

2.对一种新的解决方案的需求

第2个主题:Hadoop安装和部署准备

  1. Hadoop系统模块组件概述
  2. Hadoop试验集群的部署结构
  3. Hadoop 安装依赖关系
  4. Hadoop 生产环境的部署结构

第3个主题:Hadoop集群安装和部署

  1. Red hat Linux基础环境搭建 上机实验
  2. Hadoop 单机系统版本 安装配置 上机实验
  3. Hadoop 集群系统版本 安装和启动配置 上机实验
  4. Hadoop 集群异常Debug 方法
  5. Hadoop 集群简单测试方法
  6. 使用 Hadoop MapReduce Streaming 测试系统

第4个主题:Hadoop组件详解

  1. Hadoop HDFS 基本结构
  2. Hadoop HDFS 副本存放策略
  3. Hadoop NameNode 详解
  4. Hadoop SecondaryNameNode 详解
  5. Hadoop DataNode 详解
  6. Hadoop JobTracker 详解
  7. Hadoop TaskTracker 详解

第5个主题:Hadoop集群配置详解

  1. Hadoop core-site,hdfs-site,mapred-site 配置详解
  2. Hadoop 高可用配置方法

个主题:Hadoop集群配置:机架感知,开启压缩和任务均衡

Hadoop 集群安装和开启LZ0压缩

Hadoop 配置集群具备机架感知

Hadoop 集群开启公平任务调度器

Hadoop 集群开启能力任务调度器

第2个主题:Hadoop 集群维护与管理

查看集群状态

HDFS数据管理

Mapreduce 任务管理

HDFS安全模式

模拟集群Namenode,jobtrack失效

添加删除节点

数据平衡

文件数据跨集群拷贝

集群升级

第3个主题:Hadoop 集群规划和测试

集群规划(硬件,系统,网络)

集群性能测试

第4个主题:Hadoop 集群监控和运维

1. 使用Ganglia 监控Hadoop集群

2. 使用Cacti 监控操作系统

第5个主题:Hadoop HDFS高可用

Hadoop 元数据NFS备份方案

Hadoop SecondaryNameNode备份方案

Hadoop CheckpointNode备份方案

Hadoop BackupNode备份方案

Hadoop Cloudera HA Namenode 方案


以上就是软件水平培训课程的全部内容介绍,如需了解更多的软件水平培训班、课程、价格、试听等信息,也可以点击进入 软件水平 相关频道,定制专属课程,开始您的学习之旅。

文中图片素材来源网络,如有侵权请联系删除
来源:北京中培软件开发培训中心

免费提供问答解答,帮您轻松解决难题

热门课程 全部课程

热门动态

申请免费试听

只要一个电话

我们为您免费回电

立即申请