曙海教學(xué)優(yōu)勢
本課程,秉承二十一年積累的教學(xué)品質(zhì),以項目實現(xiàn)為導(dǎo)向,面向企事業(yè)項目實際需要,老師將會與您分享設(shè)計的全流程以及工具的綜合使用經(jīng)驗、技巧。課程可定制,線上/線下/上門皆可,熱線:4008699035。
曙海培訓(xùn)的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關(guān)系,合作企業(yè)30萬+。曙海培訓(xùn)的課程在業(yè)內(nèi)有著響亮的知名度。
基于分布式架構(gòu)大數(shù)據(jù)hadoop生態(tài)組件及數(shù)據(jù)分析可視化培訓(xùn)課程
培訓(xùn)目錄:
具體說明 |
章節(jié)內(nèi)容:分布式大數(shù)據(jù)框架 Hadoop 課程內(nèi)容: ?1、Hadoop 介紹 ???2、分布式文件系統(tǒng) HDFS 授課內(nèi)容: 1、分布式大數(shù)據(jù)框架Hadoop(理論·上) 本節(jié)主要講解大數(shù)據(jù)概述及Hadoop HDFS 2、分布式大數(shù)據(jù)框架Hadoop(實操·上) 本實操演練練習(xí)Hadoop部署及插件安裝 01 實操:Hadoop 安裝 ???紹搭建Hadoop集群的具體步驟。 02 實操:Hadoop開發(fā)插件安裝 ???介紹如何給Eclipse配置Hadoop插件、方便使用Eclipse開發(fā)工具進(jìn)行大數(shù)據(jù)開發(fā)。 ???視情況及反饋, 會選用 IntelliJ IDEA |
章節(jié)內(nèi)容:分布式大數(shù)據(jù)框架 Hadoop 課程內(nèi)容: 1 、分布式處理框架 MapReduce ???????2、資源調(diào)度框架 Yarn 授課內(nèi)容: 1、分布式大數(shù)據(jù)框架Hadoop(理論·下) 主要講解Hadoop MR、Yarn 2、式大數(shù)據(jù)框架Hadoop(實操·下) 操演練練習(xí)Hadoop Shell操作及MR入門案例 03 實操:Hadoop Shell基本操作 本任務(wù)介紹常用的Hadoop Shell命令。 04 實操:Mapreduce實例——WordCount ???本任務(wù)練習(xí)使用電商數(shù)據(jù)進(jìn)行詞頻統(tǒng)計。 |
章節(jié)內(nèi)容:數(shù)據(jù)倉庫 Hive + 數(shù)據(jù)遷移工具 Sqoop 課程內(nèi)容: 1、數(shù)據(jù)倉庫 Hive 介紹 ???2、Hive 安裝部署 3、Hive Shell 基本操作 ??4、Sqoop 安裝部署 5、Sqoop 數(shù)據(jù)遷移 ???????6、Sqoop 增量數(shù)據(jù)遷移 授課內(nèi)容 1、?數(shù)據(jù)倉庫Hive+數(shù)據(jù)遷移工具Sqoop(理論) 本節(jié)主要講解數(shù)據(jù)倉庫Hive及遷移工具Sqoop 2、?數(shù)據(jù)倉庫Hive+數(shù)據(jù)遷移工具Sqoop(實操) 本實操演練練習(xí)Hive基本操作及Sqoop應(yīng)用 05 實操:Hive安裝部署 本任務(wù)介紹如何安裝部署數(shù)據(jù)倉庫Hive。 06 實操:Hive基本操作 本任務(wù)詳細(xì)介紹Hive的基本操作以及Hive的外部表與內(nèi)部表的區(qū)別。 07 實操:Sqoop安裝 本任務(wù)主要介紹Sqoop的工作原理,然后詳細(xì)說明Sqoop的安裝部署過程。 08 實操:綜合案例—基本流程圖 ????本任務(wù)介紹Sqoop在Hive與Mysql之間進(jìn)行數(shù)據(jù)傳遞以及Hive數(shù)據(jù)分析 |
章節(jié)內(nèi)容:分布式日志采集工具 Flume 課程內(nèi)容: 1、Flume 介紹 ???2、Flume Agent 詳解 ?? 授課內(nèi)容: 1、?分布式日志采集工具Flume(理論) 本節(jié)主要講解Flume工作原理、架構(gòu)、Agent概念 2、?分布式日志采集工具Flume(實操) 本演練實操練習(xí)Flume安裝部署及Agent配置詳解 09 實操:Flume安裝部署 本任務(wù)介紹Flume的工作原理和Flume安裝流程。 10 實操:Flume配置:Source、Channel、Sink 本任務(wù)介紹配置多種source,channel,sink組合,實現(xiàn)多種需求。 11 實操:Flume多source,多sink組合框架搭建 本任務(wù)介紹Flume多source,多sink組合框架搭建。 |
章節(jié)內(nèi)容:分布式消息系統(tǒng) Kafka 課程內(nèi)容: 1、Kafka 結(jié)構(gòu)分析 ???2、Flume 與 Kafka 聯(lián)用 授課內(nèi)容: 1、?分布式消息體統(tǒng)Kafka(理論) 本節(jié)主要講解Kafka工作原理、架構(gòu)及名詞概念 2、?分布式消息體統(tǒng)Kafka(實操) 本演練實操練習(xí)Kafka安裝部署、與Flume連用 12 實操:Kafka安裝及測試 本任務(wù)介紹安裝scala與zookeeper,然后在已安裝好的scala和zookeeper環(huán)境基礎(chǔ)上,安裝部署Kafka。 13 實操:Flume傳輸數(shù)據(jù)給Kafka 本任務(wù)介紹Flume傳數(shù)據(jù)到Kafka的執(zhí)行原理和具體操作。 |
章節(jié)內(nèi)容:分布式大數(shù)據(jù)框架Spark 課程內(nèi)容: 1、Spark 框架介紹 ?????2、Spark RDD 介紹 3、Spark SQL 數(shù)據(jù)處理 ?4、Spark Shell 數(shù)據(jù)處理 授課內(nèi)容: 1、 分布式大數(shù)據(jù)框架Spark(理論) 本節(jié)主要講解Spark工作原理、架構(gòu)及RDD概念 2、分布式大數(shù)據(jù)框架Spark(實操) 本演練實操練習(xí)Spark安裝部署及Shell操作 14 實操:Spark Standalone偽分布模式安裝 本任務(wù)介紹在已經(jīng)安裝好Hadoop下,如何安裝Spark Standalone模式。 15 實操:Spark Shell操作 本任務(wù)介紹Spark Shell操作,在Spark Shell命令行下對算子進(jìn)行實例講解,包括去重、排序、Join、求平均值 |
章節(jié)內(nèi)容:電商項目 (上) 課程內(nèi)容: 1、爬蟲框架介紹 ???????2、電商數(shù)據(jù)清洗 3、電商離線數(shù)據(jù)分析 ???4、數(shù)據(jù)遷移 授課內(nèi)容: 1、電子商務(wù)數(shù)據(jù)分析項目(爬蟲、清洗) 本演練實操練習(xí)電商案例之?dāng)?shù)據(jù)采集、清洗 2、電子商務(wù)數(shù)據(jù)分析項目(離線數(shù)據(jù)分析) 本演練實操練習(xí)電商案例之離線分析、數(shù)據(jù)遷移 16 實操:一、采集電商網(wǎng)站交易及評論數(shù)據(jù)(局域網(wǎng)or互聯(lián)網(wǎng)) 本次任務(wù)對爬蟲進(jìn)行了介紹,并分析網(wǎng)頁的源碼結(jié)構(gòu)和如何爬取數(shù)據(jù)。 17 實操:二、開發(fā)MR程序清洗電商評論數(shù)據(jù) 本次任務(wù)對數(shù)據(jù)清洗進(jìn)行概述,包括Json解析,搭建解析框架和編寫MapReduce代碼。 18 實操:三、利用HiveSQL離線分析評論數(shù)據(jù) 本次任務(wù)介紹使用HiveSQL根據(jù)多種需求對數(shù)據(jù)進(jìn)行統(tǒng)計并演示。 19 實操:四、利用Sqoop進(jìn)行數(shù)據(jù)遷移至Mysql數(shù)據(jù)庫 ???本次任務(wù)介紹了如何將Hive表中數(shù)據(jù)導(dǎo)入到MySQL以和如何將HDFS中數(shù)據(jù)導(dǎo)入到MySQL。 |
章節(jié)內(nèi)容:電商項目 (下) 課程內(nèi)容: 1、離線數(shù)據(jù)可視化 ??2、SparkStreaming 實時流數(shù)據(jù)處理 授課內(nèi)容: 1、電子商務(wù)數(shù)據(jù)分析項目(數(shù)據(jù)可視化) 本演練實操練習(xí)電商案例之?dāng)?shù)據(jù)可視化 2、電子商務(wù)數(shù)據(jù)分析項目(實時數(shù)據(jù)分析) 本演練實操練習(xí)電商案例之實時數(shù)據(jù)分析 20 實操:五、利用JavaWeb+Echarts完成數(shù)據(jù)圖表展示過程 本次任務(wù)介紹通過搭建JavaWeb框架,將數(shù)據(jù)進(jìn)行可視化圖表展示。 21 實操:六、利用Spark進(jìn)行實時數(shù)據(jù)分析(上)(局域網(wǎng)or互聯(lián)網(wǎng)) 本次任務(wù)以京東商品評論為目標(biāo)網(wǎng)站,架構(gòu)采用Java爬蟲框架+Flume+Kafka+Spark Streaming+Mysql等多種技術(shù),動態(tài)實時的采集、分析、展示數(shù)據(jù)。 22 實操:七、利用Spark進(jìn)行實時數(shù)據(jù)分析(下)(局域網(wǎng)or互聯(lián)網(wǎng)) 本次任務(wù)以京東商品評論為目標(biāo)網(wǎng)站,架構(gòu)采用Java爬蟲框架+Flume+Kafka+Spark Streaming+Mysql等多種技術(shù),動態(tài)實時的采集、分析、展示數(shù)據(jù)。 |
?