本課程內(nèi)容:
第一章:課程內(nèi)容簡介
第二章:DAG的調(diào)度
2.1 stage的劃分
2.2 stage的調(diào)度
第三章:任務調(diào)度
3.1 taskset調(diào)度的先進先出(FIFO)機制
3.2 taskset調(diào)度的公平調(diào)度(FAIR)機制
3.3?taskset調(diào)度的公平調(diào)度(FAIR)機制需要注意的點
3.4 task調(diào)度的本地性級別定義
3.5 task調(diào)度的延遲調(diào)度講解一
3.6?task調(diào)度的延遲調(diào)度講解二
3.7?task調(diào)度的推測機制
3.8?task調(diào)度的黑名單機制
3.9?task調(diào)度的黑名單機制使用場景
第四章 資源調(diào)度
4.1 executor資源的管理
4.2 task的launch流程及其需要注意的點
4.3 task的statusUpdate流程
第五章 Schedulers On Driver的源代碼講解
5.1 schedulers on driver的總體流程
5.2 源碼講解之schedulers的初始化
5.3 源碼講解之job提交流程
5.3 源碼講解之task結果處理
第六章 多個spark應用的調(diào)度
6.1 動態(tài)資源分配機制
6.2 External shuffle service機制
6.2 External shuffle service機制實戰(zhàn)
-