課程模塊

課程主題

主要內(nèi)容

模塊一

Spark 2.1概述

?1、Spark產(chǎn)生背景，包括mapreduce缺陷，多計算框架并存等

2、Spark 基本特點

3、Spark版本演化

4、Spark核心概念，包括RDD, transformation, action, cache等

5、Spark生態(tài)系統(tǒng)，包括Spark生態(tài)系統(tǒng)構(gòu)成，以及與Hadoop生態(tài)系統(tǒng)關(guān)系

6、Spark在互聯(lián)網(wǎng)公司中的地位與應(yīng)用

7、介紹當前互聯(lián)網(wǎng)公司的Spark應(yīng)用案例

?8、Spark集群搭建，包括測試集群搭建和生產(chǎn)環(huán)境中集群搭建方法，并親手演示整個過程

?9、背景知識補充介紹

模塊二

Spark Core?

?Spark 程序設(shè)計與企業(yè)級應(yīng)用案例

?1、Spark運行模式介紹

Spark運行組件構(gòu)成，spark運行模式（local、standalone、mesos/yarn等）

2、Spark開發(fā)環(huán)境構(gòu)建

集成開發(fā)環(huán)境選擇，親手演示spark程序開發(fā)與調(diào)試，spark運行

3、常見transformation與action用法

介紹常見transformation與action使用方法，以及代碼片段剖析

4、常見控制函數(shù)介紹

包括cache、broadcast、accumulator等

5、Spark 應(yīng)用案例：點擊流日志分析

包括：背景介紹，數(shù)據(jù)導入，數(shù)據(jù)分析，常見Spark transformation和action用法在線演示

模塊三

???Spark

內(nèi)部原理剖析與源碼閱讀

?1、Spark運行模式剖析

?深入分析spark運行模式，包括local，standalone以及spark on yarn

?2、Spark運行流程剖析

?包括spark邏輯查詢計劃，物理查詢計劃以及分布式執(zhí)行

?3、Spark shuffle剖析

?深入介紹spark shuffle的實現(xiàn)，主要介紹hash-based和sort-based兩種實現(xiàn)

?4、Spark 源碼閱讀

?Spark源碼構(gòu)成以及閱讀方法

模塊三

?????Spark ?

程序調(diào)優(yōu)技巧

?1、數(shù)據(jù)存儲格式調(diào)優(yōu)數(shù)據(jù)存儲格式選擇，數(shù)據(jù)壓縮算法選擇等

?2、資源調(diào)優(yōu)

如何設(shè)置合理的executor、cpu和內(nèi)存數(shù)目，YARN多租戶調(diào)度器合理設(shè)置，啟用YARN的標簽調(diào)度策略等

?3、程序參數(shù)調(diào)優(yōu)

介紹常見的調(diào)優(yōu)參數(shù)，包括避免不必要的文件分發(fā)，調(diào)整任務(wù)并發(fā)度，提高數(shù)據(jù)本地性，JVM參數(shù)調(diào)優(yōu)，序列化等

4、程序?qū)崿F(xiàn)調(diào)優(yōu)

如何選擇最合適的transformation與action函數(shù)

5、調(diào)優(yōu)案例分享與演示

演示一個調(diào)優(yōu)案例，如何將一個spark程序的性能逐步優(yōu)化20倍以上。

模塊四

?Spark sql 2.1

??Spark SQL基本原理

??1、Spark SQL是什么

??2、Spark SQL基本原理

??3、Spark ?Dataframe與DataSet

??4、Spark SQL與Spark Core的關(guān)系

模塊五

???Spark SQL

程序設(shè)計與企業(yè)級應(yīng)用案例

??1、Spark SQL程序設(shè)計

??a. ?如何訪問MySQL、HDFS等數(shù)據(jù)源，如何處理parquet格式數(shù)據(jù)

??b. ?常用的DSL語法有哪些，如何使用

??c. ?Spark SQL調(diào)優(yōu)技巧

??d. ?數(shù)據(jù)傾斜解決方案

模塊六

???Spark Streaming程序設(shè)計及應(yīng)用案例

?1、Spark ?Streaming基本原理

??a. ?Spark Streaming是什么

b. ?Spark Streaming基本原理

c. ?Structured Streaming

?d. ?Spark ?Streaming 編程接口介紹

e. ?Spark Streaming應(yīng)用案例

??2、Spark ?Streaming程序設(shè)計與企業(yè)級應(yīng)用案例

??a. ?常見流式數(shù)據(jù)處理模式

?b. ?Spark Streaming與Kafka 交互

?c. ?Spark Streaming與Redis交互

?d. ?Spark Streaming部署與運行

?e. ?Spark Streaming企業(yè)級案例：用戶行為實時分析系統(tǒng)

模塊七

Spark Mllib

Spark MLlib

企業(yè)級案例

1. ?Spark MLlib簡介

2. ?數(shù)據(jù)表示方式

3. ?MLlib中的聚類、分類和推薦算法

4. ?如何使用MLlib的算法

5. ?Spark MLLib企業(yè)級案例：用戶畫像之性別預測

模塊八

Spark綜合案例

信用評分實時分析系統(tǒng)

1. ?背景介紹

2. ?什么是Lambda architecture

3. ?利用Spark Core+MLlib+構(gòu)建離線處理

4. ?利用flume+Spark Streaming+Redis構(gòu)建實時處理線

5. ?整合批處理和實時處理線

模塊八

Spark綜合案例

信用評分實時分析系統(tǒng)

1. ?背景介紹

2. ?什么是Lambda architecture

3. ?利用Spark Core+MLlib+構(gòu)建離線處理

4. ?利用flume+Spark Streaming+Redis構(gòu)建實時處理線

5. ?整合批處理和實時處理線

模塊九

典型項目
案例實戰(zhàn)

? 基于spark日志分析
? 個性化推薦系統(tǒng)：帶你揭開其神秘面紗
? 在線投放引擎
? 揭開淘寶點擊推薦系統(tǒng)的神秘面紗
? 淘寶數(shù)據(jù)服務(wù)架構(gòu)—實時計算平臺