曙海教學優(yōu)勢
本課程,秉承二十一年積累的教學品質,以項目實現(xiàn)為導向,面向企事業(yè)項目實際需要,老師將會與您分享設計的全流程以及工具的綜合使用經(jīng)驗、技巧。課程可定制,線上/線下/上門皆可,熱線:4008699035。
曙海培訓的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關系,合作企業(yè)30萬+。曙海培訓的課程在業(yè)內有著響亮的知名度。
課程目標:
1、?深入理解Hadoop實現(xiàn)原理和架構
2、?Hadoop系統(tǒng)安裝、配置、運維
3、?大型Hadoop項目的開發(fā)、運行、調試、優(yōu)化
4、?HBase、Hive、Pig、Oozie、ZooKeeper等相關項目使用和開發(fā)
課程大綱:
1、?Hadoop簡介
a)?什么是大數(shù)據(jù)
b)?傳統(tǒng)的并行計算和分布式計算
c)?Hadoop的誕生
d)?Hadoop的特點
2、?HDFS分布式文件系統(tǒng)管理
a)?HDFS設計目標
b)?HDFS工作原理
c)?HDFS命令行工具介紹
d)?HDFS系統(tǒng)及硬件推薦配置
e)?HDFS安裝
f)?HDFS參數(shù)設置推薦
g)?HDFS配置參數(shù)具體介紹
3、?HDFS分布式文件系統(tǒng)開發(fā)
a)?Eclipse?開發(fā)環(huán)境
b)?Java?API?詳解
c)?練習
4、?Map/Reduce分布式運算框架管理
a)?為什么需要M/R
b)?M/R的工作機制
c)?M/R相關的系統(tǒng)服務
d)?M/R參數(shù)配置
e)?M/R啟動、停止、查看日志
f)?M/R任務調度策略
5、?Map/Reduce分布式運算框架開發(fā)
a)?M/R程序的框架及接口詳解
b)?M/R的輸入輸出
c)?運行M/R程序
d)?練習
6、?HBase分布式數(shù)據(jù)庫管理及開發(fā)
a)?NoSQL介紹
b)?什么是HBase、為什么使用HBase
c)?HBase與關系型數(shù)據(jù)庫的對比
d)?HBase架構、服務、存儲結構
e)?表、列簇、分區(qū)
f)?HBase安裝、配置、啟動、日志
g)?HBase的Java?API:CRUD、M/R、Filter
h)?練習
i)?HBase高級特性:Coprocessor、性能優(yōu)化
j)?練習
k)?Schema設計要點
7、?Hive數(shù)據(jù)倉庫使用與開發(fā)
a)?Hive的使用場景
b)?Hive的安裝與配置
c)?Hive?QL詳解
d)?UDF與UDAF的編寫
e)?練習
8、?Pig腳本的使用與開發(fā)
a)?Pig的使用場景
b)?Pig的安裝與配置
c)?Pig?Latin語言詳解
d)?用戶函數(shù)以及運行模式
9、?Oozie工作流引擎
a)?Oozie的使用場景
b)?工作流的定義
c)?流程XML原語
d)?練習
10、?Hadoop系統(tǒng)監(jiān)控與運維:Ganglia集成
11、?Storm流計算框架簡介
12、?ZooKeeper分布式調度系統(tǒng)的原理、架構、特性、配置、API
13、?Sqoop數(shù)據(jù)庫集成框架簡介
14、?Flume數(shù)據(jù)流采集系統(tǒng)簡介
15、?Mahout、Redis、Lucene/Solr簡介