Hadoop 核心组件基础实战 训练营

关注
9人关注 0人评论

本课程将通过 13 个实验和 8 个挑战带领大家入门学习 Hadoop 相关的核心组件,主要包括 Hadoop、MapReduce、YARN、HBASE、Sqoop、Solr、Hive、Flume、Kafka、Pig 等等。并且针对各大组件设计了相应的实操练习,如 HDFS文件处理、数据导入、数据迁移、使用 Flume 和 Kafka 实现实时 web 日志收集和分析处理等等。

¥149.00 ¥349.00 特价
优惠 标准会员再享 8 优惠,本课程仅需 119.2 立即开通>
立即购买
实验1
Hadoop 简介与安装部署
知识点: 1.Hadoop的体系结构 2.Hadoop的主要模块 3.Hadoop伪分布式模式部署 4.HDFS的基本使用 5.WordCount测试用例
挑战1
挑战:Hadoop 系统部署
知识点: 1.Hadoop各个配置项的作用 2.启动Hadoop守护进程的方法 3.HDFS的初始化方法
实验2
HDFS 架构与操作
知识点: 1.HDFS架构 2.HDFS基本操作 3.Web管理界面 4.WebHDFSAPI的使用
实验3
MapReduce 原理与实践
知识点: 1.MapReduce核心思想 2.MapReduce编程框架的结构 3.MapReduce应用的编写和编译方法
挑战2
挑战:使用 MapReduce 进行日志分析
知识点: 1.Hadoop服务的启动 2.MapReduce应用的编写 3.生成Jar包的方法 4.HDFS的基本操作
实验4
YARN 架构
知识点: 1.YARN核心思想及架构 2.YARN配置文件的作用 3.YARN应用开发方式 4.YARNWebUI的使用
挑战3
挑战:用 Hadoop 计算圆周率
知识点: 1.HadoopMapReduce任务执行 2.Hadoop示例程序的使用 3.Bash输出重定向
实验5
HBase 基础
知识点: 1.关系型数据库与非关系型数据库的联系和区别 2.HBase的安装部署方法 3.HBase的数据模型和基本操作
挑战4
挑战:HBase 数据导入
知识点: 1.HBase创建表的方法 2.HBase导入外部数据的方法 3.HDFS的基本操作
实验6
Sqoop 数据迁移
知识点: 1.待迁移数据源的配置 2.Sqoop的体系结构 3.Sqoop的数据传输方法
挑战5
挑战:HBase 实现 Web 日志场景数据处理
知识点: 1.HBase过滤器的用法 2.HBase导入数据的方式 3.HBase表操作 4.Bash输出重定向
实验7
Solr 基础实战
知识点: 1.Solr的特性 2.Solr的部署方法 3.向Solr添加数据的方法 4.Solr检索数据的方式
实验8
Hive 基础实战
知识点: 1.Hive的架构 2.Hive的基本数据单位 3.部署Hive的方法 4.HiveHQL语言
挑战6
挑战:导入数据到 Hive
知识点: 1.在Hive中创建表的方法 2.导入CSV数据到Hive表的方法 3.在Hive中执行SQL查询的方法 4.Bash输出重定向
实验9
Flume 基础实战
知识点: 1.Flume的架构和数据流模型 2.Flume的安装部署方法 3.多数据源下配置和启动Agent的方法
实验10
Flume、HDFS和Hive实现日志收集和分析
知识点: 1.FlumeAgent配置方法 2.Hive启动方法 3.Hive中创建表的方式 4.Hive导入外部数据的方法 5.在Hive命令行运行HQL查询
挑战7
挑战:用Flume和MapReduce进行日志分析
知识点: 1.FlumeAgent配置 2.MapReduce框架的编写 3.MapReduce任务的执行
实验11
Kafka 基础实战
知识点: 1.Kafka的应用场景 2.Kafka的架构 3.Kafka与Flume的区别 4.Kafka的安装部署方法 5.Kafka的故障恢复能力 6.KafkaConnect的用法
挑战8
挑战:按需部署 Kafka
知识点: 1.KafkaZooKeeper的配置 2.KafkaServer的用法 3.Kafka创建主题的方法 4.KafkaConnect的配置和使用
实验12
使用 Flume 和 Kafka 实现实时日志收集
知识点: 1.模拟日志的生成方法 2.FlumeAgent的配置方法 3.Kafka的配置方法 4.Flume与Kafka的连接方法
实验13
Pig 基础实战
知识点: 1.Pig的特性 2.Pig的架构 3.Pig的安装部署方法 4.Pig的启动模式 5.PigLatin
登录 后发表评论
最新评论
全部 第1节 挑战:Hadoop 系统部署 第2节 第3节 挑战:使用 MapReduce 进行日志分析 第4节 挑战:用 Hadoop 计算圆周率 第5节 挑战:HBase 数据导入 第6节 挑战:HBase 实现 Web 日志场景数据处理 第7节 第8节 挑战:导入数据到 Hive 第9节 第10节 挑战:用Flume和MapReduce进行日志分析 第11节 挑战:按需部署 Kafka 第12节 第13节
课程
咨询

0% Complete

加载中,精彩就在后面...

卡住了?点击重试