5
（7942人評(píng)價(jià)）
筆記：(65387)
學(xué)員：(97562)
瀏覽：(237018)
曙海教學(xué)優(yōu)勢(shì)
本課程，秉承二十一年積累的教學(xué)品質(zhì)，以項(xiàng)目實(shí)現(xiàn)為導(dǎo)向,面向企事業(yè)項(xiàng)目實(shí)際需要,老師將會(huì)與您分享設(shè)計(jì)的全流程以及工具的綜合使用經(jīng)驗(yàn)、技巧。課程可定制,線(xiàn)上/線(xiàn)下/上門(mén)皆可,熱線(xiàn):4008699035。
曙海培訓(xùn)的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關(guān)系,合作企業(yè)30萬(wàn)+。曙海培訓(xùn)的課程在業(yè)內(nèi)有著響亮的知名度。
基于分布式架構(gòu)大數(shù)據(jù)hadoop生態(tài)組件及數(shù)據(jù)分析可視化培訓(xùn)課程
培訓(xùn)目錄：
|
具體說(shuō)明 |
|
章節(jié)內(nèi)容：分布式大數(shù)據(jù)框架 Hadoop 課程內(nèi)容： ?1、Hadoop 介紹 ???2、分布式文件系統(tǒng) HDFS 授課內(nèi)容: 1、分布式大數(shù)據(jù)框架Hadoop（理論·上） 本節(jié)主要講解大數(shù)據(jù)概述及Hadoop HDFS 2、分布式大數(shù)據(jù)框架Hadoop（實(shí)操·上） 本實(shí)操演練練習(xí)Hadoop部署及插件安裝 01 實(shí)操：Hadoop 安裝 ???紹搭建Hadoop集群的具體步驟。 02 實(shí)操：Hadoop開(kāi)發(fā)插件安裝 ???介紹如何給Eclipse配置Hadoop插件、方便使用Eclipse開(kāi)發(fā)工具進(jìn)行大數(shù)據(jù)開(kāi)發(fā)。 ???視情況及反饋, 會(huì)選用 IntelliJ IDEA |
|
章節(jié)內(nèi)容：分布式大數(shù)據(jù)框架 Hadoop 課程內(nèi)容： 1 、分布式處理框架 MapReduce ???????2、資源調(diào)度框架 Yarn 授課內(nèi)容： 1、分布式大數(shù)據(jù)框架Hadoop（理論·下） 主要講解Hadoop MR、Yarn 2、式大數(shù)據(jù)框架Hadoop（實(shí)操·下） 操演練練習(xí)Hadoop Shell操作及MR入門(mén)案例 03 實(shí)操：Hadoop Shell基本操作 本任務(wù)介紹常用的Hadoop Shell命令。 04 實(shí)操：Mapreduce實(shí)例——WordCount ???本任務(wù)練習(xí)使用電商數(shù)據(jù)進(jìn)行詞頻統(tǒng)計(jì)。 |
|
章節(jié)內(nèi)容：數(shù)據(jù)倉(cāng)庫(kù) Hive + 數(shù)據(jù)遷移工具 Sqoop 課程內(nèi)容： 1、數(shù)據(jù)倉(cāng)庫(kù) Hive 介紹 ???2、Hive 安裝部署 3、Hive Shell 基本操作 ??4、Sqoop 安裝部署 5、Sqoop 數(shù)據(jù)遷移 ???????6、Sqoop 增量數(shù)據(jù)遷移 授課內(nèi)容 1、?數(shù)據(jù)倉(cāng)庫(kù)Hive+數(shù)據(jù)遷移工具Sqoop（理論） 本節(jié)主要講解數(shù)據(jù)倉(cāng)庫(kù)Hive及遷移工具Sqoop 2、?數(shù)據(jù)倉(cāng)庫(kù)Hive+數(shù)據(jù)遷移工具Sqoop（實(shí)操） 本實(shí)操演練練習(xí)Hive基本操作及Sqoop應(yīng)用 05 實(shí)操：Hive安裝部署 本任務(wù)介紹如何安裝部署數(shù)據(jù)倉(cāng)庫(kù)Hive。 06 實(shí)操：Hive基本操作 本任務(wù)詳細(xì)介紹Hive的基本操作以及Hive的外部表與內(nèi)部表的區(qū)別。 07 實(shí)操：Sqoop安裝 本任務(wù)主要介紹Sqoop的工作原理，然后詳細(xì)說(shuō)明Sqoop的安裝部署過(guò)程。 08 實(shí)操：綜合案例—基本流程圖 ????本任務(wù)介紹Sqoop在Hive與Mysql之間進(jìn)行數(shù)據(jù)傳遞以及Hive數(shù)據(jù)分析 |
|
章節(jié)內(nèi)容：分布式日志采集工具 Flume 課程內(nèi)容： 1、Flume 介紹 ???2、Flume Agent 詳解 ?? 授課內(nèi)容： 1、?分布式日志采集工具Flume（理論） 本節(jié)主要講解Flume工作原理、架構(gòu)、Agent概念 2、?分布式日志采集工具Flume（實(shí)操） 本演練實(shí)操練習(xí)Flume安裝部署及Agent配置詳解 09 實(shí)操：Flume安裝部署 本任務(wù)介紹Flume的工作原理和Flume安裝流程。 10 實(shí)操：Flume配置：Source、Channel、Sink 本任務(wù)介紹配置多種source，channel，sink組合，實(shí)現(xiàn)多種需求。 11 實(shí)操：Flume多source，多sink組合框架搭建 本任務(wù)介紹Flume多source，多sink組合框架搭建。 |
|
章節(jié)內(nèi)容：分布式消息系統(tǒng) Kafka 課程內(nèi)容： 1、Kafka 結(jié)構(gòu)分析 ???2、Flume 與 Kafka 聯(lián)用 授課內(nèi)容： 1、?分布式消息體統(tǒng)Kafka（理論） 本節(jié)主要講解Kafka工作原理、架構(gòu)及名詞概念 2、?分布式消息體統(tǒng)Kafka（實(shí)操） 本演練實(shí)操練習(xí)Kafka安裝部署、與Flume連用 12 實(shí)操：Kafka安裝及測(cè)試 本任務(wù)介紹安裝scala與zookeeper，然后在已安裝好的scala和zookeeper環(huán)境基礎(chǔ)上，安裝部署Kafka。 13 實(shí)操：Flume傳輸數(shù)據(jù)給Kafka 本任務(wù)介紹Flume傳數(shù)據(jù)到Kafka的執(zhí)行原理和具體操作。 |
|
章節(jié)內(nèi)容：分布式大數(shù)據(jù)框架Spark 課程內(nèi)容： 1、Spark 框架介紹 ?????2、Spark RDD 介紹 3、Spark SQL 數(shù)據(jù)處理 ?4、Spark Shell 數(shù)據(jù)處理 授課內(nèi)容： 1、 分布式大數(shù)據(jù)框架Spark（理論） 本節(jié)主要講解Spark工作原理、架構(gòu)及RDD概念 2、分布式大數(shù)據(jù)框架Spark（實(shí)操） 本演練實(shí)操練習(xí)Spark安裝部署及Shell操作 14 實(shí)操：Spark Standalone偽分布模式安裝 本任務(wù)介紹在已經(jīng)安裝好Hadoop下，如何安裝Spark Standalone模式。 15 實(shí)操：Spark Shell操作 本任務(wù)介紹Spark Shell操作，在Spark Shell命令行下對(duì)算子進(jìn)行實(shí)例講解，包括去重、排序、Join、求平均值 |
|
章節(jié)內(nèi)容：電商項(xiàng)目 （上） 課程內(nèi)容： 1、爬蟲(chóng)框架介紹 ???????2、電商數(shù)據(jù)清洗 3、電商離線(xiàn)數(shù)據(jù)分析 ???4、數(shù)據(jù)遷移 授課內(nèi)容： 1、電子商務(wù)數(shù)據(jù)分析項(xiàng)目（爬蟲(chóng)、清洗） 本演練實(shí)操練習(xí)電商案例之?dāng)?shù)據(jù)采集、清洗 2、電子商務(wù)數(shù)據(jù)分析項(xiàng)目（離線(xiàn)數(shù)據(jù)分析） 本演練實(shí)操練習(xí)電商案例之離線(xiàn)分析、數(shù)據(jù)遷移 16 實(shí)操：一、采集電商網(wǎng)站交易及評(píng)論數(shù)據(jù)(局域網(wǎng)or互聯(lián)網(wǎng)) 本次任務(wù)對(duì)爬蟲(chóng)進(jìn)行了介紹，并分析網(wǎng)頁(yè)的源碼結(jié)構(gòu)和如何爬取數(shù)據(jù)。 17 實(shí)操：二、開(kāi)發(fā)MR程序清洗電商評(píng)論數(shù)據(jù) 本次任務(wù)對(duì)數(shù)據(jù)清洗進(jìn)行概述，包括Json解析，搭建解析框架和編寫(xiě)MapReduce代碼。 18 實(shí)操：三、利用HiveSQL離線(xiàn)分析評(píng)論數(shù)據(jù) 本次任務(wù)介紹使用HiveSQL根據(jù)多種需求對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)并演示。 19 實(shí)操：四、利用Sqoop進(jìn)行數(shù)據(jù)遷移至Mysql數(shù)據(jù)庫(kù) ???本次任務(wù)介紹了如何將Hive表中數(shù)據(jù)導(dǎo)入到MySQL以和如何將HDFS中數(shù)據(jù)導(dǎo)入到MySQL。 |
|
章節(jié)內(nèi)容：電商項(xiàng)目 （下） 課程內(nèi)容： 1、離線(xiàn)數(shù)據(jù)可視化 ??2、SparkStreaming 實(shí)時(shí)流數(shù)據(jù)處理 授課內(nèi)容： 1、電子商務(wù)數(shù)據(jù)分析項(xiàng)目（數(shù)據(jù)可視化） 本演練實(shí)操練習(xí)電商案例之?dāng)?shù)據(jù)可視化 2、電子商務(wù)數(shù)據(jù)分析項(xiàng)目（實(shí)時(shí)數(shù)據(jù)分析） 本演練實(shí)操練習(xí)電商案例之實(shí)時(shí)數(shù)據(jù)分析 20 實(shí)操：五、利用JavaWeb+Echarts完成數(shù)據(jù)圖表展示過(guò)程 本次任務(wù)介紹通過(guò)搭建JavaWeb框架，將數(shù)據(jù)進(jìn)行可視化圖表展示。 21 實(shí)操：六、利用Spark進(jìn)行實(shí)時(shí)數(shù)據(jù)分析（上）(局域網(wǎng)or互聯(lián)網(wǎng)) 本次任務(wù)以京東商品評(píng)論為目標(biāo)網(wǎng)站，架構(gòu)采用Java爬蟲(chóng)框架+Flume+Kafka+Spark Streaming+Mysql等多種技術(shù)，動(dòng)態(tài)實(shí)時(shí)的采集、分析、展示數(shù)據(jù)。 22 實(shí)操：七、利用Spark進(jìn)行實(shí)時(shí)數(shù)據(jù)分析（下）(局域網(wǎng)or互聯(lián)網(wǎng)) 本次任務(wù)以京東商品評(píng)論為目標(biāo)網(wǎng)站，架構(gòu)采用Java爬蟲(chóng)框架+Flume+Kafka+Spark Streaming+Mysql等多種技術(shù)，動(dòng)態(tài)實(shí)時(shí)的采集、分析、展示數(shù)據(jù)。 |
?
