曙海教學優(yōu)勢
本課程,秉承二十一年積累的教學品質,以項目實現(xiàn)為導向,面向企事業(yè)項目實際需要,老師將會與您分享設計的全流程以及工具的綜合使用經(jīng)驗、技巧。課程可定制,線上/線下/上門皆可,熱線:4008699035。
曙海培訓的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關系,合作企業(yè)30萬+。曙海培訓的課程在業(yè)內(nèi)有著響亮的知名度。
本課程介紹了數(shù)據(jù)挖掘的基本原理,從數(shù)據(jù)挖掘基礎知識開始,講解數(shù)據(jù)挖掘建模工具和使用Python語言進使用工具;學習數(shù)據(jù)挖掘的建模過程,包括數(shù)據(jù)探索、數(shù)據(jù)預處理及挖掘建模的常用算法與原理。
?? 了解一個完整的數(shù)據(jù)分析過程,從數(shù)據(jù)采集到挖掘,清洗,分析和輸出的整個過程。。?
?? 學習Python數(shù)據(jù)分析方法和工具的使用?
?? 學習各種數(shù)據(jù)分析的算法和框架。?
?? 學習各種建模方式和工具的使用?
?? 基于案例學習客戶價值分析等數(shù)據(jù)挖掘應用場景?
模塊名稱? |
課程內(nèi)容? |
Python基礎和數(shù)據(jù)科學基礎? |
1.????? Python語言和開發(fā)環(huán)境簡介? 2.????? 數(shù)據(jù)科學概述? 3.????? 數(shù)據(jù)分析流程和步驟? 4.????? 數(shù)據(jù)獲取路徑? 5.????? 法律法規(guī) 6.????? Python語言和數(shù)據(jù)科學 7.????? 理解基本的字符串函數(shù) 8.????? 選擇合適的數(shù)據(jù)結構 9.????? 通過列表推導式理解列表 10.?? 使用計數(shù)器,使用文件和網(wǎng)絡 11.?? 使用正則表達式實現(xiàn)模式匹配? 12.?? globbing文件名與其他字符串 13.?? Pickling和Unpickling數(shù)據(jù) 14.?? 文本數(shù)據(jù)的處理 15.?? 數(shù)據(jù)庫數(shù)據(jù)的處理 16.?? 通用函數(shù)和各類聚合函數(shù) |
Python數(shù)據(jù)分析基礎? |
1.????? 搭建Python開發(fā)平臺? 2.????? 所要考慮的問題? 3.????? 基礎平臺的搭建? 4.????? Python使用入門? 5.????? 運行方式? 6.????? 基本命令? 7.????? 數(shù)據(jù)結構? 8.????? 庫的導入與添加? 9.????? Python數(shù)據(jù)分析工具? 10.?? ?Numpy? 11.?? ?Scipy? 12.?? ?Matplotlib? 13.?? ?Pandas? 14.?? ?StatsModels? 15.?? ?Scikit-Learn? 16.?? ?Keras? 17.?? ?Gensim? |
數(shù)據(jù)探索? |
1.????? 數(shù)據(jù)質量分析? 2.????? 缺失值分析? 3.????? 異常值分析? 4.????? 一致性分析? 5.????? 數(shù)據(jù)特征分析? 6.????? 分布分析? 7.????? 對比分析? 8.????? 統(tǒng)計量分析? 9.????? 周期性分析? 10.?? 貢獻度分析? 11.?? 相關性分析? 12.?? Python主要數(shù)據(jù)探索函數(shù)? 13.?? 基本統(tǒng)計特征函數(shù)? 14.?? 拓展統(tǒng)計特征函數(shù)? 15.?? 統(tǒng)計作圖函數(shù)? |
數(shù)據(jù)預處理? |
1.????? 數(shù)據(jù)清洗60? 2.????? 缺失值處理60? 3.????? 異常值處理64? 4.????? 數(shù)據(jù)集成64? 5.????? 實體識別64? 6.????? 冗余屬性識別65? 7.????? 數(shù)據(jù)變換65? 8.????? 簡單函數(shù)變換65? 9.????? 規(guī)范化66? 10.?? 連續(xù)屬性離散化68? 11.?? 屬性構造70? 12.?? 小波變換71? 13.?? 數(shù)據(jù)規(guī)約74? 14.?? 屬性規(guī)約74? 15.?? 數(shù)值規(guī)約77? 16.?? Python主要數(shù)據(jù)預處理函數(shù)80? |
數(shù)據(jù)挖掘建模? |
1.????? 分類與預測83? 2.????? 實現(xiàn)過程83? 3.????? 常用的分類與預測算法84? 4.????? 回歸分析85? 5.????? 決策樹89? 6.????? 人工神經(jīng)網(wǎng)絡95? 7.????? 5.1.6?分類與預測算法評價100? 8.????? 5.1.7?Python分類預測模型特點103? 9.????? 5.2?聚類分析104? 10.?? 5.2.1?常用聚類分析算法104? 11.?? 5.2.2?K-Means聚類算法105? 12.?? 5.2.3?聚類分析算法評價111? 13.?? 5.2.4?Python主要聚類分析算法111? 14.?? 5.3?關聯(lián)規(guī)則113? 15.?? 5.3.1?常用關聯(lián)規(guī)則算法114? 16.?? 5.3.2?Apriori算法114? 17.?? 5.4?時序模式119? 18.?? 5.4.1?時間序列算法120? 19.?? 5.4.2?時間序列的預處理120? 20.?? 5.4.3?平穩(wěn)時間序列分析122? 21.?? 5.4.4?非平穩(wěn)時間序列分析124? 22.?? 5.4.5?Python主要時序模式算法132? 23.?? 5.5?離群點檢測134? 24.?? 5.5.1?離群點檢測方法135? 25.?? 5.5.2?基于模型的離群點檢測方法136? 26.?? 5.5.3?基于聚類的離群點檢測方法138? |
數(shù)據(jù)挖掘實戰(zhàn)項目一—客戶價值分析? |
1.????? 背景與挖掘目標164? 2.????? 7.2?分析方法與過程166? 3.????? 7.2.1?數(shù)據(jù)抽取168? 4.????? 7.2.2?數(shù)據(jù)探索分析168? 5.????? 7.2.3?數(shù)據(jù)預處理169? 6.????? 7.2.4?模型構建173? |
數(shù)據(jù)挖掘實戰(zhàn)項目二--電子商務網(wǎng)站用戶行為分析及服務推薦? |
1.????? 背景與挖掘目標238? 2.????? 12.2?分析方法與過程240? 3.????? 12.2.1?數(shù)據(jù)抽取242? 4.????? 12.2.2?數(shù)據(jù)探索分析244? 5.????? 12.2.3?數(shù)據(jù)預處理251? 6.????? 12.2.4?模型構建256? |
協(xié)議分析? |
1.????? Web端協(xié)議分析? 2.????? 網(wǎng)頁登錄POST分析 3.????? 隱藏表單分析 4.????? 加密數(shù)據(jù)分析 5.????? 驗證碼問題 6.????? IP代理 7.????? Cookie登錄 8.????? 傳統(tǒng)驗證碼識別 9.????? 人工打碼 10.?? 滑動驗證碼 11.?? PC客戶端抓包分析 12.?? HTTP Analyzer簡介 13.?? 蝦米音樂PC端API實戰(zhàn)分析 14.?? App抓包分析 15.?? Wireshark簡介 16.?? 酷我聽書App端API實戰(zhàn)分析 17.?? API爬蟲:爬取mp3資源信息 |
Scrapy爬蟲框架? |
1.????? Scrapy爬蟲架構 2.????? 安裝Scrapy? 3.????? 創(chuàng)建cnblogs項目 4.????? 創(chuàng)建爬蟲模塊? 5.????? 定義Item? 6.????? 翻頁功能 7.????? 構建Item Pipeline? 8.????? 內(nèi)置數(shù)據(jù)存儲? 9.????? 啟動爬蟲 10.?? 強化爬蟲 11.?? 調(diào)試方法? 12.?? 異常 13.?? 控制運行狀態(tài) 14.?? Item Loader 15.?? Item與Item Loader 16.?? 輸入與輸出處理器 17.?? Item Loader Context?? 18.?? 請求與響應 19.?? 下載器中間件 20.?? Spider中間件? 21.?? 擴展 22.?? 突破反爬蟲 |
增量式與分布式爬蟲? |
1.????? 去重方案 2.????? ?BloomFilter算法? 3.????? ?BloomFilter原理 4.????? ?Python實現(xiàn)BloomFilter 5.????? Scrapy和BloomFilter 6.????? Redis基礎 7.????? Redis的安裝和配置 8.????? Redis數(shù)據(jù)類型與操作 9.????? Python和Redis 10.?? Python操作Redis 11.?? Scrapy集成Redis 12.?? MongoDB集群? |
PySpider爬蟲框架? |
1.????? PySpider與Scrapy 2.????? 選擇器 3.????? PyQuery的用法 4.????? ?解析數(shù)據(jù) 5.????? Ajax和HTTP請求 6.????? ?Ajax爬取 7.????? HTTP請求實現(xiàn)? 8.????? ?PySpider和PhantomJS 9.????? 使用PhantomJS 10.?? 運行JavaScript 11.?? 數(shù)據(jù)存儲 12.?? PySpider爬蟲架構 |
?