大數(shù)據(jù)建模與分析挖掘應(yīng)用培訓(xùn)大綱
業(yè)界主流的數(shù)據(jù)倉(cāng)庫(kù)工具和大數(shù)據(jù)分析挖掘工具
1. 業(yè)界主流的基于Hadoop和Spark的大數(shù)據(jù)分析挖掘項(xiàng)目解決方案
2. 業(yè)界數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)分析挖掘平臺(tái)軟件工具
3. Hadoop數(shù)據(jù)倉(cāng)庫(kù)工具Hive
4. Spark實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)工具SparkSQL
5. Hadoop數(shù)據(jù)分析挖掘工具M(jìn)ahout
6. Spark機(jī)器學(xué)習(xí)與數(shù)據(jù)分析挖掘工具M(jìn)Llib
7. 大數(shù)據(jù)分析挖掘項(xiàng)目的實(shí)施步驟
大數(shù)據(jù)分析挖掘項(xiàng)目的數(shù)據(jù)集成操作訓(xùn)練
1. 日志數(shù)據(jù)解析和導(dǎo)入導(dǎo)出到數(shù)據(jù)倉(cāng)庫(kù)的操作訓(xùn)練
2. 從原始搜索數(shù)據(jù)集中抽取、集成數(shù)據(jù)，整理后形成規(guī)范的數(shù)據(jù)倉(cāng)庫(kù)
3. 數(shù)據(jù)分析挖掘模塊從大型的集中式數(shù)據(jù)倉(cāng)庫(kù)中訪問(wèn)數(shù)據(jù)，一個(gè)數(shù)據(jù)倉(cāng)庫(kù)面向一個(gè)主題，構(gòu)建兩個(gè)數(shù)據(jù)倉(cāng)庫(kù)
4. 同一個(gè)數(shù)據(jù)倉(cāng)庫(kù)中的事實(shí)表數(shù)據(jù)，可以給多個(gè)不同類型的分析挖掘任務(wù)調(diào)用
5. 去除噪聲
基于Hadoop的大型數(shù)據(jù)倉(cāng)庫(kù)管理平臺(tái)—HIVE數(shù)據(jù)倉(cāng)庫(kù)集群的多維分析建模應(yīng)用實(shí)踐
6. 基于Hadoop的大型分布式數(shù)據(jù)倉(cāng)庫(kù)在行業(yè)中的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用案例
7. Hive數(shù)據(jù)倉(cāng)庫(kù)集群的平臺(tái)體系結(jié)構(gòu)、核心技術(shù)剖析
8. Hive Server的工作原理、機(jī)制與應(yīng)用
9. Hive數(shù)據(jù)倉(cāng)庫(kù)集群的安裝部署與配置優(yōu)化
10. Hive應(yīng)用開(kāi)發(fā)技巧
11. Hive SQL剖析與應(yīng)用實(shí)踐
12. Hive數(shù)據(jù)倉(cāng)庫(kù)表與表分區(qū)、表操作、數(shù)據(jù)導(dǎo)入導(dǎo)出、客戶端操作技巧
13. Hive數(shù)據(jù)倉(cāng)庫(kù)報(bào)表設(shè)計(jì)
14. 將原始的日志數(shù)據(jù)集，經(jīng)過(guò)整理后，加載至Hadoop + Hive數(shù)據(jù)倉(cāng)庫(kù)集群中，用于共享訪問(wèn)
Spark大數(shù)據(jù)分析挖掘平臺(tái)實(shí)踐操作訓(xùn)練
15. Spark大數(shù)據(jù)分析挖掘平臺(tái)的部署配置
16. Spark數(shù)據(jù)分析庫(kù)MLlib的開(kāi)發(fā)部署
17. Spark數(shù)據(jù)分析挖掘示例操作，從Hive表中讀取數(shù)據(jù)并在分布式內(nèi)存中運(yùn)行
聚類分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用
18. 聚類分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括：
a) Canopy聚類（canopy clustering）
b) K均值算法（K-means clustering）
c) 模糊K均值（Fuzzy K-means clustering）
d) EM聚類，即期望大化聚類（Expectation Maximization）
e) 以上算法在Spark MLib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。
19. Spark聚類分析算法程序示例
分類分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用
20. 分類分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用， 包括：
f) Spark決策樹(shù)算法實(shí)現(xiàn)
g) 邏輯回歸算法（logistics regression）
h) 貝葉斯算法（Bayesian與Cbeyes）
i) 支持向量機(jī)（Support vector machine）
j) 以上算法在Spark MLlib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。
21. Spark客戶資料分析與給用戶貼標(biāo)簽的程序示例
22. Spark實(shí)現(xiàn)給商品貼標(biāo)簽的程序示例
23. Spark實(shí)現(xiàn)用戶行為的自動(dòng)標(biāo)簽和深度技術(shù)
關(guān)聯(lián)分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用
24. 預(yù)測(cè)、推薦分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括：
k) Spark頻繁模式挖掘算法（parallel FP Growth Algorithm）應(yīng)用
l) Spark關(guān)聯(lián)規(guī)則挖掘（Apriori）算法及其應(yīng)用
m) 以上算法在Spark MLib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。
25. Spark關(guān)聯(lián)分析程序示例
推薦分析挖掘模型與算法技術(shù)應(yīng)用
26. 推薦算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括：
a) Spark協(xié)同過(guò)濾算法程序示例
b) Item-based協(xié)同過(guò)濾與推薦
c) User-based協(xié)同過(guò)濾與推薦
d) 交叉銷售推薦模型及其實(shí)現(xiàn)
回歸分析模型與預(yù)測(cè)算法
27. 利用線性回歸（多元回歸）實(shí)現(xiàn)訪問(wèn)量預(yù)測(cè)
28. 利用非線性回歸預(yù)測(cè)成交量和訪問(wèn)量的關(guān)系
29. 基于R+Spark實(shí)現(xiàn)回歸分析模型及其應(yīng)用操作
30. Spark回歸程序?qū)崿F(xiàn)異常點(diǎn)檢測(cè)的程序示例
圖關(guān)系建模與分析挖掘及其鏈接分析和社交分析操作
31. 利用Spark GraphX實(shí)現(xiàn)網(wǎng)頁(yè)鏈接分析，計(jì)算網(wǎng)頁(yè)重要性排名
32. 實(shí)現(xiàn)信息傳播的社交關(guān)系傳遞分析，互聯(lián)網(wǎng)用戶的行為關(guān)系分析任務(wù)的操作訓(xùn)練
神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)算法模型及其應(yīng)用實(shí)踐
33. 神經(jīng)網(wǎng)絡(luò)算法Neural Network的實(shí)現(xiàn)方法和挖掘模型應(yīng)用
34. 基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)的訓(xùn)練過(guò)程
a) 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法
b) Deep Learning的訓(xùn)練方法
35. 深度學(xué)習(xí)的常用模型和方法
a) CNN（Convolutional Neural Network）卷積神經(jīng)網(wǎng)絡(luò)
b) RNN（Recurrent Neural Network）循環(huán)神經(jīng)網(wǎng)絡(luò)模型
c) Restricted Boltzmann Machine(RBM)限制波爾茲曼機(jī)
36. 基于Spark的深度學(xué)習(xí)算法模型庫(kù)的應(yīng)用程序示例 |
shuhaipeixun
總部李老師