大數(shù)據(jù)建模與分析挖掘應(yīng)用培訓(xùn)大綱
業(yè)界主流的數(shù)據(jù)倉庫工具和大數(shù)據(jù)分析挖掘工具
1. 業(yè)界主流的基于Hadoop和Spark的大數(shù)據(jù)分析挖掘項目解決方案
2. 業(yè)界數(shù)據(jù)倉庫與數(shù)據(jù)分析挖掘平臺軟件工具
3. Hadoop數(shù)據(jù)倉庫工具Hive
4. Spark實時數(shù)據(jù)倉庫工具SparkSQL
5. Hadoop數(shù)據(jù)分析挖掘工具M(jìn)ahout
6. Spark機器學(xué)習(xí)與數(shù)據(jù)分析挖掘工具M(jìn)Llib
7. 大數(shù)據(jù)分析挖掘項目的實施步驟
大數(shù)據(jù)分析挖掘項目的數(shù)據(jù)集成操作訓(xùn)練
1. 日志數(shù)據(jù)解析和導(dǎo)入導(dǎo)出到數(shù)據(jù)倉庫的操作訓(xùn)練
2. 從原始搜索數(shù)據(jù)集中抽取、集成數(shù)據(jù),整理后形成規(guī)范的數(shù)據(jù)倉庫
3. 數(shù)據(jù)分析挖掘模塊從大型的集中式數(shù)據(jù)倉庫中訪問數(shù)據(jù),一個數(shù)據(jù)倉庫面向一個主題,構(gòu)建兩個數(shù)據(jù)倉庫
4. 同一個數(shù)據(jù)倉庫中的事實表數(shù)據(jù),可以給多個不同類型的分析挖掘任務(wù)調(diào)用
5. 去除噪聲
基于Hadoop的大型數(shù)據(jù)倉庫管理平臺—HIVE數(shù)據(jù)倉庫集群的多維分析建模應(yīng)用實踐
6. 基于Hadoop的大型分布式數(shù)據(jù)倉庫在行業(yè)中的數(shù)據(jù)倉庫應(yīng)用案例
7. Hive數(shù)據(jù)倉庫集群的平臺體系結(jié)構(gòu)、核心技術(shù)剖析
8. Hive Server的工作原理、機制與應(yīng)用
9. Hive數(shù)據(jù)倉庫集群的安裝部署與配置優(yōu)化
10. Hive應(yīng)用開發(fā)技巧
11. Hive SQL剖析與應(yīng)用實踐
12. Hive數(shù)據(jù)倉庫表與表分區(qū)、表操作、數(shù)據(jù)導(dǎo)入導(dǎo)出、客戶端操作技巧
13. Hive數(shù)據(jù)倉庫報表設(shè)計
14. 將原始的日志數(shù)據(jù)集,經(jīng)過整理后,加載至Hadoop + Hive數(shù)據(jù)倉庫集群中,用于共享訪問
Spark大數(shù)據(jù)分析挖掘平臺實踐操作訓(xùn)練
15. Spark大數(shù)據(jù)分析挖掘平臺的部署配置
16. Spark數(shù)據(jù)分析庫MLlib的開發(fā)部署
17. Spark數(shù)據(jù)分析挖掘示例操作,從Hive表中讀取數(shù)據(jù)并在分布式內(nèi)存中運行
聚類分析建模與挖掘算法的實現(xiàn)原理和技術(shù)應(yīng)用
18. 聚類分析建模與算法原理及其在Spark MLlib中的實現(xiàn)與應(yīng)用,包括:
a) Canopy聚類(canopy clustering)
b) K均值算法(K-means clustering)
c) 模糊K均值(Fuzzy K-means clustering)
d) EM聚類,即期望大化聚類(Expectation Maximization)
e) 以上算法在Spark MLib中的實現(xiàn)原理和實際場景中的應(yīng)用案例。
19. Spark聚類分析算法程序示例
分類分析建模與挖掘算法的實現(xiàn)原理和技術(shù)應(yīng)用
20. 分類分析建模與算法原理及其在Spark MLlib中的實現(xiàn)與應(yīng)用, 包括:
f) Spark決策樹算法實現(xiàn)
g) 邏輯回歸算法(logistics regression)
h) 貝葉斯算法(Bayesian與Cbeyes)
i) 支持向量機(Support vector machine)
j) 以上算法在Spark MLlib中的實現(xiàn)原理和實際場景中的應(yīng)用案例。
21. Spark客戶資料分析與給用戶貼標(biāo)簽的程序示例
22. Spark實現(xiàn)給商品貼標(biāo)簽的程序示例
23. Spark實現(xiàn)用戶行為的自動標(biāo)簽和深度技術(shù)
關(guān)聯(lián)分析建模與挖掘算法的實現(xiàn)原理和技術(shù)應(yīng)用
24. 預(yù)測、推薦分析建模與算法原理及其在Spark MLlib中的實現(xiàn)與應(yīng)用,包括:
k) Spark頻繁模式挖掘算法(parallel FP Growth Algorithm)應(yīng)用
l) Spark關(guān)聯(lián)規(guī)則挖掘(Apriori)算法及其應(yīng)用
m) 以上算法在Spark MLib中的實現(xiàn)原理和實際場景中的應(yīng)用案例。
25. Spark關(guān)聯(lián)分析程序示例
推薦分析挖掘模型與算法技術(shù)應(yīng)用
26. 推薦算法原理及其在Spark MLlib中的實現(xiàn)與應(yīng)用,包括:
a) Spark協(xié)同過濾算法程序示例
b) Item-based協(xié)同過濾與推薦
c) User-based協(xié)同過濾與推薦
d) 交叉銷售推薦模型及其實現(xiàn)
回歸分析模型與預(yù)測算法
27. 利用線性回歸(多元回歸)實現(xiàn)訪問量預(yù)測
28. 利用非線性回歸預(yù)測成交量和訪問量的關(guān)系
29. 基于R+Spark實現(xiàn)回歸分析模型及其應(yīng)用操作
30. Spark回歸程序?qū)崿F(xiàn)異常點檢測的程序示例
圖關(guān)系建模與分析挖掘及其鏈接分析和社交分析操作
31. 利用Spark GraphX實現(xiàn)網(wǎng)頁鏈接分析,計算網(wǎng)頁重要性排名
32. 實現(xiàn)信息傳播的社交關(guān)系傳遞分析,互聯(lián)網(wǎng)用戶的行為關(guān)系分析任務(wù)的操作訓(xùn)練
神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)算法模型及其應(yīng)用實踐
33. 神經(jīng)網(wǎng)絡(luò)算法Neural Network的實現(xiàn)方法和挖掘模型應(yīng)用
34. 基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)的訓(xùn)練過程
a) 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法
b) Deep Learning的訓(xùn)練方法
35. 深度學(xué)習(xí)的常用模型和方法
a) CNN(Convolutional Neural Network)卷積神經(jīng)網(wǎng)絡(luò)
b) RNN(Recurrent Neural Network)循環(huán)神經(jīng)網(wǎng)絡(luò)模型
c) Restricted Boltzmann Machine(RBM)限制波爾茲曼機
36. 基于Spark的深度學(xué)習(xí)算法模型庫的應(yīng)用程序示例 |