曙海教學優(yōu)勢
本課程,秉承二十一年積累的教學品質(zhì),以項目實現(xiàn)為導向,面向企事業(yè)項目實際需要,老師將會與您分享設計的全流程以及工具的綜合使用經(jīng)驗、技巧。課程可定制,線上/線下/上門皆可,熱線:4008699035。
曙海培訓的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關(guān)系,合作企業(yè)30萬+。曙海培訓的課程在業(yè)內(nèi)有著響亮的知名度。
?Hadoop技術(shù)內(nèi)幕:深入解析MapReduce架構(gòu)設計與實現(xiàn)原理培訓課程
課程大綱:
第一部分 基礎篇
第1章 閱讀源代碼前的準備
1.1 準備源代碼學習環(huán)境
1.2 獲取Hadoop源代碼
1.3 搭建Hadoop源代碼閱讀環(huán)境
1.4 Hadoop源代碼組織結(jié)構(gòu)
1.5 Hadoop初體驗
1.5.3 Hadoop?Eclipse插件介紹
1.6 編譯及調(diào)試Hadoop源代碼
第2章 MapReduce設計理念與基本架構(gòu)
2.1 Hadoop發(fā)展史
2.2 Hadoop?MapReduce設計目標
2.3 MapReduce編程模型概述
2.4 Hadoop基本架構(gòu)
2.5 Hadoop?MapReduce作業(yè)的生命周期
第二部分 MapReduce編程模型篇
第3章 MapReduce編程模型
3.1 MapReduce編程模型概述
3.2 MapReduce?API基本概念
3.3 Java?API解析
3.4 非Java?API解析
3.5 Hadoop工作流
第三部分 MapReduce核心設計篇
第4章 Hadoop?RPC框架解析
4.1 Hadoop?RPC框架概述
4.2 Java基礎知識
4.3 Hadoop?RPC基本框架分析
4.4 MapReduce通信協(xié)議分析
第5章 作業(yè)提交與初始化過程分析
5.1 作業(yè)提交與初始化概述
5.2 作業(yè)提交過程詳解
5.3 作業(yè)初始化過程詳解
5.4 Hadoop?DistributedCache原理分析
第6章 JobTracker內(nèi)部實現(xiàn)剖析
6.1 JobTracker概述
6.2 JobTracker啟動過程分析
6.3 心跳接收與應答
6.4 Job和Task運行時信息維護
6.5 容錯機制
6.6 任務推測執(zhí)行原理
6.7 Hadoop資源管理
第7章 TaskTracker內(nèi)部實現(xiàn)剖析
7.1 TaskTracker概述
7.2 TaskTracker啟動過程分析
7.3 心跳機制
7.4 TaskTracker行為分析
7.5 作業(yè)目錄管理
7.6 啟動新任務
第8章 Task運行過程分析
8.1 Task運行過程概述
8.2 基本數(shù)據(jù)結(jié)構(gòu)和算法
8.3 Map?Task內(nèi)部實現(xiàn)
8.4 Reduce?Task內(nèi)部實現(xiàn)
8.5 MapReduce?Task優(yōu)化
第四部分 MapReduce高級篇
第9章 Hadoop性能調(diào)優(yōu)
9.1 概述
9.2 從管理員角度進行調(diào)優(yōu)
9.3 從用戶角度進行調(diào)優(yōu)
第10章 Hadoop多用戶作業(yè)調(diào)度器
10.1 多用戶調(diào)度器產(chǎn)生背景
10.2 HOD
10.3 Hadoop隊列管理機制
10.4 Capacity?Scheduler實現(xiàn)
10.5 Fair?Scheduler實現(xiàn)
10.6 其他Hadoop調(diào)度器介紹
第11章 Hadoop安全機制
11.1 Hadoop安全機制概述
11.2 基礎知識
11.3 Hadoop安全機制實現(xiàn)
11.4 應用場景總結(jié)
第12章 下一代MapReduce框架
12.1 第一代MapReduce框架的局限性
12.2 下一代MapReduce框架概述
12.3 Apache?YARN
12.4 Facebook?Corona
12.5 Apache?Mesos