Hadoop開發(fā)實踐與性能調(diào)優(yōu)課程
|
|
班級規(guī)模及環(huán)境--熱線:4008699035 手機:15921673576/13918613812( 微信同號) |
為了保證培訓效果,增加互動環(huán)節(jié),我們堅持小班授部份,每期報名人數(shù)限3到5人,多余人員安排到下一期進行。 |
上間和地點 |
上部份地點:【上?!客瑵髮W(滬西)/新城金郡商務樓(11號線白銀路站)【深圳分部】:電影大廈(地鐵一號線大劇院站)/深圳大學成教院【北京分部】:北京中山/福鑫大樓【南京分部】:金港大廈(和燕路)【武漢分部】:佳源大廈(高新二路)【成都分部】:領館區(qū)1號(中和大道)【沈陽分部】:沈陽理工大學/六宅臻品【鄭州分部】:鄭州大學/錦華大廈【石家莊分部】:河北科技大學/瑞景大廈 近開間(周末班/連續(xù)班/晚班):2025年6月9日....--即將開課--........................(歡迎您垂詢,視教育質(zhì)量為生命!) |
實驗設備 |
◆:共5天,30學時 ☆注重質(zhì)量☆邊講邊練 ☆合格學員免費推薦工作 ★實驗設備請點擊這兒查看★ |
質(zhì)量保障 |
1、培訓過程中,如有部分內(nèi)容理解不透或消化不好,可免費在以后培訓班中重聽; 2、課程完成后,授課老師留給學員手機和Email,保障培訓效果,免費提供半年的技術支持。 3、培訓合格學員可享受免費推薦就業(yè)機會。☆合格學員免費頒發(fā)相關工程師等資格證書,提升職業(yè)資質(zhì)。專注高端技術培訓15年,曙海學員的能力得到大家的認同,受到用人單位的廣泛贊譽,曙海的證書受到廣泛認可。 |
部份程大綱 |
|
- 培訓特色
系統(tǒng)的講解Hadoop及主要周邊生態(tài)的基本原理,安裝,部署,維護及開發(fā)。偏重于部署維護方向,中間會對Linux,網(wǎng)絡,服務器硬件Raid等進行系統(tǒng)的學習和了解。力求讓學員全方位掌握Hadoop及相關的其他知識。了解Hadoop各生態(tài)的特點和應用場景。
- 目標收益
可獨立完成Hadoop的部署,運維,監(jiān)控及故障處理。獨立完成整體Hadoop從網(wǎng)絡到軟件層面的架構(gòu)設計,Hadoop及周邊生態(tài)的性能優(yōu)化。
- 培訓對象
- 開始對Hadoop感興趣或已使用Hadoop,希望進行性能調(diào)優(yōu)或架構(gòu)優(yōu)化。
- 學員基礎
- 需具備基本Linux操作系統(tǒng)安裝及常規(guī)命令行操作知識。
- 課程大綱
- 主題 內(nèi)容
Hadoop在云計算技術的作用和地位
- 傳統(tǒng)大規(guī)模數(shù)據(jù)分析存在的問題
Hadoop概述
Hadoop與分布式文件系統(tǒng)
MapReduce的工作原理與機制
Hadoop集群剖析
Hadoop生態(tài)系統(tǒng)
Hadoop的行業(yè)應用案例分析
Hadoop在云計算和大數(shù)據(jù)的位置和關系
案例演示:阿里集團技術平臺,Hadoop在淘寶、支付寶的作用
電商眼中的Hadoop和推薦系統(tǒng)。
暴風數(shù)據(jù)平臺:Hadoop對于產(chǎn)品優(yōu)化的價值。
Hadoop對于趣游、熱酷等游戲公司的作用
移動大云項目(big cloud)中的Hadoop
聯(lián)通使用Hadoop/Hbase解決3G詳單查詢問題。
- Hadoop參數(shù)調(diào)優(yōu)
- 選擇適合hadoop的硬件配置
Hadoop配置項優(yōu)化
Hadoop配置優(yōu)化 - core-site.xml
Hadoop配置優(yōu)化 - HDFS
Hadoop配置優(yōu)化 - hdfs-site.xml
Hadoop配置優(yōu)化 - mapred-site.xml
Hadoop配置優(yōu)化 - 機架感知
網(wǎng)絡帶寬參數(shù)調(diào)優(yōu)
系統(tǒng)參數(shù)調(diào)優(yōu)
配置文件管理
嚴格控制root權(quán)限
Java的GC模式
選擇正確的JDK
hadoop作業(yè)調(diào)優(yōu)
Map side tuning設置
Map side設置
Linux操作系統(tǒng)優(yōu)化
其他配置和參數(shù)調(diào)優(yōu)
core-default.xml,
hdfs-default.xml,
mapred-default.xml。
mapred-site.xml
mapred.tasktracker.map.tasks.maximum
mapred.reduce.slowstart.completed.maps
mapred.fairscheduler.preemption
mapred.jobtracker.completeuserjobs.maximum
mapred.jobtracker.update.faulty.tracker.interval
mapred.jobtracker.max.blacklist.percent
案例演示:Hadoop硬件優(yōu)化
不是所有的硬件都合適拿來直接使用
安裝調(diào)優(yōu)的第一步服務器硬件的選型的竅門
如何選擇適合業(yè)務使用的CPU
內(nèi)存越大越好嗎?設置合理的的內(nèi)存配置
連接網(wǎng)絡的選擇和優(yōu)化
高速硬盤的選擇注意事項
硬盤為什么不做raid?
設置網(wǎng)絡的注意事項
中間結(jié)果壓縮對磁盤和網(wǎng)絡的優(yōu)化
機架感知,網(wǎng)絡和磁盤IO優(yōu)化作用,確定存儲的具體位置,
內(nèi)存參數(shù),map/reduce槽位數(shù)的計算方法。
對磁盤和網(wǎng)絡的優(yōu)化
Java工具使用,jstack使用
Sun和open之間的區(qū)別,JIT編譯器的使用
inux系統(tǒng)參數(shù)調(diào)優(yōu)
Linux監(jiān)控系統(tǒng)的使用
cacti,
ganglia
常用的linux排錯工具lsof,strace,iostat,vmstat,netstat...
常見異?,F(xiàn)象級處理方法
網(wǎng)卡流量導致連接失敗
權(quán)限錯誤
主機名IP轉(zhuǎn)換錯誤
NN與DN namespaceID不一致
磁盤滿導致報錯
Jave heap size OOM
- 精彩案例及故障解決方法解析
- 案例一:namenode被重新格式化,datanode無法連接
現(xiàn)象:namenode 中的namespaceID與datanode中的namespaceID不一致
案例二:硬盤損壞
現(xiàn)象:磁盤損壞導致datanode宕機
案例三:錯誤用戶啟動hadoop
現(xiàn)象:datanode啟動一段時間后宕機
案例四:tasktracker重啟后假死
現(xiàn)象:無報錯,但tasktracker不工作。
案例五:jobtracker無故宕機
現(xiàn)象:運行過程中jobtracker宕機
案例六:datanode無法注冊到namenode
現(xiàn)象:datanode啟動后到MBean這步掛起不再繼續(xù)。
案例七:tasktracker無法啟動,報權(quán)限錯誤
現(xiàn)象:tasktracker報文件夾創(chuàng)建的權(quán)限錯誤后直接退出。
案例八:主機名設置錯誤
現(xiàn)象:datanode 和tasktracker無法正常工作
- Hadoop組件詳解
- Hadoop HDFS 基本結(jié)構(gòu)
Hadoop HDFS 副本存放策略
Hadoop NameNode 詳解
Hadoop SecondaryNameNode 詳解
Hadoop DataNode 詳解
Hadoop JobTracker 詳解
Hadoop TaskTracker 詳解
案例演示:Hadoop Mapper類核心代碼
Hadoop Reduce類核心代碼
Hadoop 核心代碼
- Hadoop安裝和部署
- Hadoop系統(tǒng)模塊組件概述
Hadoop試驗集群的部署結(jié)構(gòu)
Hadoop 安裝依賴關系
Hadoop 生產(chǎn)環(huán)境的部署結(jié)構(gòu)
Hadoop集群部署
Hadoop 高可用配置方法
Hadoop 集群簡單測試方法
Hadoop 集群異常Debug方法
案例演示:Hadoop安裝部署實驗
Red hat Linux基礎環(huán)境搭建
Hadoop 單機系統(tǒng)版本安裝配置
Hadoop 集群系統(tǒng)版本安裝和啟動配置
使用 Hadoop MapReduce Streaming 快速測試系統(tǒng)
Hadoopcore-site,hdfs-site,mapred-site 配置詳解
- Hadoop和傳統(tǒng)數(shù)據(jù)庫技術優(yōu)劣勢對比
- Hadoop/Hive 對比 Oracle 在構(gòu)建數(shù)據(jù)倉庫上的優(yōu)劣勢
Hadoop 如何和傳統(tǒng)IT系統(tǒng)配合完成原來不可能的任務
案例演示:Apache社區(qū)版本:Cloudera 版本、MapR版本、Intel版本、Oracle、Dell、HP版本
- 編寫MapReduce高級程序
- 使用 Hadoop MapReduce Streaming 編程
MapReduce流程
剖析一個MapReduce程序
基本MapReduceAPI 概念
驅(qū)動代碼 Mapper、Reducer
Hadoop流
API 使用Eclipse進行快速開發(fā)
新MapReduce API
MapReduce的優(yōu)化
MapReduce的任務調(diào)度
MapReduce編程實戰(zhàn)
如何利用其他Hadoop相關技術,包括Apache Hive, Apache Pig,Sqoop和Oozie等
滿足解決實際數(shù)據(jù)分析問題的高級Hadoop API
案例演示:Hadoop Streaming 和 Java MapReduce Api 差異。
MapReduce 實現(xiàn)數(shù)據(jù)庫功能
利用Combiners來減少中間數(shù)據(jù)
編寫Partitioner來優(yōu)化負載平衡
直接訪問Hadoop分布式文件系統(tǒng)(HDFS)
Hadoop的join操作
輔助排序在Reducer方的合并
定制Writables和WritableComparables
使用SequenceFiles和Avro文件保存二進制數(shù)據(jù)
創(chuàng)建InputFormats OutputFormats
Hadoop的二次排序
Hadoop的海量日志分析
在Map方的合并
- 精彩案例及故障解決方法解析
- 案例一:控制map & reduce個數(shù)
現(xiàn)象:map個數(shù)取決于split個數(shù),如果源文件使用壓縮存儲,則不可分割,一個文件一個map。非壓縮文件使用默認block.size進行切分。對reduce因為是中間數(shù)據(jù),可以控制reduce數(shù)量。
案例二:壓縮中間數(shù)據(jù)
現(xiàn)象:job中間臨時數(shù)據(jù)量級大、網(wǎng)絡IO吞吐量大。
案例三:編程細節(jié),內(nèi)存溢出
現(xiàn)象:編程過程中,經(jīng)常遇到list、map、倒排表等大對象,如果作為局部變量,每次調(diào)用map或者reduce方法都初始化這些變量,很容易消耗掉JVM堆內(nèi)存,出現(xiàn)內(nèi)存溢出異常。
案例四:編程細節(jié),計數(shù)&日志打印
現(xiàn)象: System.out.println, System.err.println等日志打印過多會嚴重影響job性能,counter計數(shù)也會存在同樣的問題,同時也會造成本地磁盤使用量的急劇增長。
案例五: 作業(yè)調(diào)度
現(xiàn)象:集群上的job非常多時,會出現(xiàn)一些job一直等待,很長一段時間內(nèi)沒有開始運行。默認的任務調(diào)度器FIFO并不能滿足實際工作應用。
案例六:Combiner優(yōu)化
現(xiàn)象: map輸出數(shù)據(jù)量非常大,reduce input group遠小于reduce input group時,存在大量的網(wǎng)絡IO,這些IO中的一部分數(shù)據(jù)可以在本地做完合并,然后再進行reduce操作。
- 使用Hive和Pig開發(fā)及技巧
- Hive和Pig基礎
Hive的作用和原理說明
Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關系
Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流
Hive 部署和安裝
Hive Cli 的基本用法
HQL基本語法
使用Oozie的動機
Oozie工作流定義格式
案例演示:使用JDBC 連接Hive進行查詢和分析
使用正則表達式加載數(shù)據(jù)
HQL高級語法
編寫UDF函數(shù)
編寫UDAF自定義函數(shù)
使用Sqoop進行數(shù)據(jù)分析
使用oozie配置工作流
phpHiveAdmin 安裝和使用
|
|
|
|
|
|
 * |
|
本部份程部分實驗室實景 |
|
|
|
|
|
|
合作伙伴與授權(quán)機構(gòu) |
 Altera全球合作培訓機構(gòu) |
 諾基亞Symbian公司授權(quán)培訓中心 |
 Atmel公司全球戰(zhàn)略合作伙伴 |
 微軟全球嵌入式培訓合作伙伴 |
 英國ARM公司授權(quán)培訓中心 |
 ARM工具關鍵合作單位 |
|
|
|
我們培訓過的企業(yè)客戶評價: |
曙海的andriod系統(tǒng)與應用培訓完全符合了我公司的要求,達到了我公司培訓的目的。特別值得一提的是授部份講師針對我們公司的開發(fā)的項目專門提供了一些很好程序的源代碼,基本滿足了我們的項目要求。 ——上海貝爾,李工 曙海培訓DSP2000的老師,上部份思路清晰,口齒清楚,由淺入深,重點突出,培訓效果是不錯的, 達到了我們想要的效果,希望繼續(xù)合作下去。 ——中國電子科技集團技術部主任馬工 曙海的FPGA培訓很好地填補了高校FPGA培訓空白,不錯??傊欣趯W生的發(fā)展,有利于教師的發(fā)展,有利于部份程的發(fā)展,有利于社會的發(fā)展。 ——上海電子,馮老師 曙海給我們公司提供的Dsp6000培訓,符合我們項目的開發(fā)要求,解決了很多困惑我們很久的問題,與曙海的合作非常愉快。 ——公安部第三研究所,項目部負責人李先生 MTK培訓-我在網(wǎng)上找了很久,就是找不到。在曙海居然有MTK驅(qū)動的培訓,老師經(jīng)驗很豐富,知識面很廣。下一個還想培訓IPHONE蘋果手機。跟他們合作很愉快,老師很有人情味,態(tài)度很和藹。 ——臺灣雙揚科技,研發(fā)處經(jīng)理,楊先生 曙海對我們公司的iPhone培訓,實驗項目很多,確實學到了東西。受益無窮?。√貏e是對于那種正在開發(fā)項目的,確實是物超所值。 ——臺灣歐澤科技,張工 通過參加Symbian培訓,再做Symbian相關的項目感覺更加得心應手了,理論加實踐的授部份方式,很有針對性,非常的適合我們。學完之后,很輕松的就完成了我們的項目。 ——IBM公司,沈經(jīng)理 有曙海這樣的DSP開發(fā)培訓單位,是教育行業(yè)的財富,聽了他們的部份,茅塞頓開。 ——上海醫(yī)療器械高等學校,羅老師
|
我們新培訓過的企業(yè)客戶以及培訓的主要內(nèi)容: |
|
一汽海馬汽車DSP培訓 蘇州金屬研究院DSP培訓 南京南瑞集團技術FPGA培訓 西安愛生技術集團FPGA培訓,DSP培訓 成都熊谷加世電氣DSP培訓 福斯賽諾分析儀器(蘇州)FPGA培訓 南京國電工程FPGA培訓 北京環(huán)境特性研究所達芬奇培訓 中國科微系統(tǒng)與信息技術研究所FPGA高級培訓 重慶網(wǎng)視只能流技術開發(fā)達芬奇培訓 無錫力芯微電子股份IC電磁兼容 河北科研究所FPGA培訓 上海微小衛(wèi)星工程中心DSP培訓 廣州航天航空POWERPC培訓 桂林航天工DSP培訓 江蘇五維電子科技達芬奇培訓 無錫步進電機自動控制技術DSP培訓 江門市安利電源工程DSP培訓 長江力偉股份CADENCE培訓 愛普生科技(無錫)數(shù)字模擬電路 河南平高電氣DSP培訓 中國航天員科研訓練中心A/D仿真 常州易控汽車電子WINDOWS驅(qū)動培訓 南通大學DSP培訓 上海集成電路研發(fā)中心達芬奇培訓 北京瑞志合眾科技WINDOWS驅(qū)動培訓 江蘇金智科技股份FPGA高級培訓 中國重工第710研究所FPGA高級培訓 蕪湖伯特利汽車安全系統(tǒng)DSP培訓 廈門中智能軟件技術Android培訓 上海科慢車輛部件系統(tǒng)EMC培訓 中國電子科技集團第五十研究所,軟件無線電培訓 蘇州浩克系統(tǒng)科技FPGA培訓 上海申達自動防范系統(tǒng)FPGA培訓 四川長虹佳華信息MTK培訓 公安部第三研究所--FPGA初中高技術開發(fā)培訓以及DSP達芬奇芯片視頻、圖像處理技術培訓 上海電子信息職業(yè)技術--FPGA高級開發(fā)技術培訓 上海點逸網(wǎng)絡科技有限公司--3G手機ANDROID應用和系統(tǒng)開發(fā)技術培訓 格科微電子有限公司--MTK應用(MMI)和驅(qū)動開發(fā)技術培訓 南昌航空大學--fpga高級開發(fā)技術培訓 IBM公司--3G手機ANDROID系統(tǒng)和應用技術開發(fā)培訓 上海貝爾--3G手機ANDROID系統(tǒng)和應用技術開發(fā)培訓 中國雙飛--Vxworks應用和BSP開發(fā)技術培訓
|
上海水務建設工程有限公司--Alter/XilinxFPGA應用開發(fā)技術培訓 恩法半導體科技--AllegroCandencePCB仿真和信號完整性技術培訓 中國計量--3G手機ANDROID應用和系統(tǒng)開發(fā)技術培訓 冠捷科技--FPGA芯片設計技術培訓 芬尼克茲節(jié)能設備--FPGA高級技術開發(fā)培訓 川奇光電--3G手機ANDROID系統(tǒng)和應用技術開發(fā)培訓 東華大學--Dsp6000系統(tǒng)開發(fā)技術培訓 上海理工大學--FPGA高級開發(fā)技術培訓 同濟大學--Dsp6000圖像/視頻處理技術培訓 上海醫(yī)療器械高等??茖W校--Dsp6000圖像/視頻處理技術培訓 中航工業(yè)無線電電子研究所--Vxworks應用和BSP開發(fā)技術培訓 北京交通大學--Powerpc開發(fā)技術培訓 浙江理工大學--Dsp6000圖像/視頻處理技術培訓 臺灣雙陽科技股份有限公司--MTK應用(MMI)和驅(qū)動開發(fā)技術培訓 滾石移動--MTK應用(MMI)和驅(qū)動開發(fā)技術培訓 冠捷半導體--Linux系統(tǒng)開發(fā)技術培訓 奧波--CortexM3+uC/OS開發(fā)技術培訓 迅時通信--WinCE應用與驅(qū)動開發(fā)技術培訓 海鷹醫(yī)療電子系統(tǒng)--DSP6000圖像處理技術培訓 博耀科技--Linux系統(tǒng)開發(fā)技術培訓 華路時代信息技術--VxWorksBSP開發(fā)技術培訓 臺灣歐澤科技--iPhone開發(fā)技術培訓 寶康電子--AllegroCandencePCB仿真和信號完整性技術培訓 上海天能電子有限公司--AllegroCandencePCB仿真和信號完整性技術培訓 上海亨通光電科技有限公司--andriod應用和系統(tǒng)移植技術培訓 上海智搜文化傳播有限公司--Symbian開發(fā)培訓 先先信息科技有限公司--brew手機開發(fā)技術培訓 鼎捷集團--MTK應用(MMI)和驅(qū)動開發(fā)技術培訓 傲然科技--MTK應用(MMI)和驅(qū)動開發(fā)技術培訓 中軟國際--Linux系統(tǒng)開發(fā)技術培訓 龍旗控股集團--MTK應用(MMI)和驅(qū)動開發(fā)技術培訓 研祥智能股份有限公司--MTK應用(MMI)和驅(qū)動開發(fā)技術培訓 羅氏診斷--Linux應用開發(fā)技術培訓 西東控制集團--DSP2000應用技術及DSP2000在光伏并網(wǎng)發(fā)電中的應用與開發(fā) 科大訊飛--MTK應用(MMI)和驅(qū)動開發(fā)技術培訓 東北農(nóng)業(yè)大學--IPHONE蘋果應用開發(fā)技術培訓 中國電子科技集團--Dsp2000系統(tǒng)和應用開發(fā)技術培訓 中國船舶重工集團--Dsp2000系統(tǒng)開發(fā)技術培訓 晶方半導體--FPGA初中高技術培訓 肯特智能儀器有限公司--FPGA初中高技術培訓 哈爾濱大學--IPHONE蘋果應用開發(fā)技術培訓 昆明電器科學研究所--Dsp2000系統(tǒng)開發(fā)技術 奇瑞汽車股份--單片機應用開發(fā)技術培訓
|
|
|