2018Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師實(shí)戰(zhàn)培訓(xùn)班（11月珠海班）
時(shí)間：2018-11-20 08:00 至 2018-11-24 18:00
地點(diǎn)：珠海
- 參會(huì)報(bào)名
- 會(huì)議介紹
- 會(huì)議日程
- 會(huì)議嘉賓
- 參會(huì)指南
-
手機(jī)下單
首頁(yè) > 商務(wù)會(huì)議 > IT互聯(lián)網(wǎng)會(huì)議 > 2018Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師實(shí)戰(zhàn)培訓(xùn)班（11月珠海班） 更新時(shí)間：2018-11-07T16:57:39
|
2018Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師實(shí)戰(zhàn)培訓(xùn)班（11月珠海班） 已截止報(bào)名會(huì)議時(shí)間： 2018-11-20 08:00至 2018-11-24 18:00結(jié)束 會(huì)議地點(diǎn)： 珠海 詳細(xì)地址會(huì)前通知 周邊酒店預(yù)訂 |
收藏3人
換一換
會(huì)議介紹
會(huì)議內(nèi)容 主辦方介紹
2018Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師實(shí)戰(zhàn)培訓(xùn)班（11月珠海班）宣傳圖
各有關(guān)單位：
當(dāng)下是大數(shù)據(jù)時(shí)代，為構(gòu)建大數(shù)據(jù)平臺(tái)，技術(shù)人員需要對(duì)分布式計(jì)算平臺(tái)有一定深入的理解和應(yīng)用。MapReduce作為一個(gè)經(jīng)典的分布式計(jì)算框架，已經(jīng)廣為人知，且得到了廣泛的應(yīng)用，但MapReduce自身存在很多問(wèn)題，包括迭代式計(jì)算和DAG計(jì)算等類型的數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)算法性能低下，不能很好地利用內(nèi)存資源，編程復(fù)雜度較高等。為了克服MapReduce的眾多問(wèn)題，新型計(jì)算框架出現(xiàn)了。Spark已經(jīng)被不少互聯(lián)網(wǎng)公司采用，大部分?jǐn)?shù)據(jù)挖掘算法和迭代式算法在逐步MapReduce平臺(tái)遷移到Spark平臺(tái)中，包括阿里巴巴，騰訊，百度，優(yōu)酷土豆，360，支付寶等互聯(lián)網(wǎng)公司已經(jīng)在線上產(chǎn)品中使用spark，且取得了令人滿意的效果，另外，部分省份的運(yùn)營(yíng)商也正在嘗試使用spark解決數(shù)據(jù)挖掘和分析問(wèn)題，部分銀行，如工商銀行，也正在嘗試spark平臺(tái)。因此中國(guó)軟件產(chǎn)業(yè)培訓(xùn)網(wǎng)決定開(kāi)展“Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師”實(shí)戰(zhàn)培訓(xùn)班，本次培訓(xùn)由北京天博信通科技有限公司具體承辦，望相關(guān)單位收到通知后積極參加。相關(guān)培訓(xùn)事宜如下:
培訓(xùn)時(shí)間及地點(diǎn)
2018年11月20日---11月24日 ??珠海（20日全天報(bào)到）
報(bào)道地點(diǎn):珠海華僑賓館大廳(拱北迎賓南路2106號(hào))，請(qǐng)學(xué)員自帶筆記本電腦。
住宿標(biāo)準(zhǔn):標(biāo)準(zhǔn)/雙人房/大床房/268元/間，高級(jí)/雙人房/大床房/288元/間。???????
課程目標(biāo)
1、 深入理解Spark計(jì)算原理和編程模型，掌握Spark Core和SparkSql、SparkStreaming等上層系統(tǒng)的結(jié)合方式
2、深入掌握SparkCore、SparkSql使用調(diào)優(yōu)技巧
3、深入掌握SparkStreaming和SparkMllib使用和調(diào)優(yōu)技巧
4、 深入掌握Spark和其他組件的結(jié)合使用
5、 了解Spark與MapReduce分布式計(jì)算模型的區(qū)別和各自適合的使用場(chǎng)景。
6、 能夠使用java、python和scala進(jìn)行spark應(yīng)用開(kāi)發(fā)（如果要講解三種語(yǔ)言開(kāi)發(fā)spark，工作量會(huì)非常大，建議只講解一種(可以根據(jù)企業(yè)的要求來(lái)定，）
7、熟練使用spark、spark streaming、spark SQL、spark mllib
8、深入了解spark在大型互聯(lián)網(wǎng)的架構(gòu)和使用場(chǎng)景
培訓(xùn)對(duì)象
各地企事業(yè)單位大數(shù)據(jù)產(chǎn)業(yè)相關(guān)人員，運(yùn)營(yíng)商 IT信息化和運(yùn)維工程師相關(guān)人員，金融業(yè)信息化相關(guān)人員，或?qū)Υ髷?shù)據(jù)spark感興趣的相關(guān)人員。
頒發(fā)證書
參加相關(guān)培訓(xùn)并通過(guò)考試的學(xué)員，可以獲得：
1.工業(yè)和信息化部全國(guó)網(wǎng)絡(luò)與信息技術(shù)項(xiàng)目管理中心頒發(fā)的-大數(shù)據(jù)高級(jí)工程師職業(yè)技能證書。該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級(jí)和晉升職務(wù)的重要依據(jù)。
注：請(qǐng)學(xué)員帶一寸彩照2張（背面注明姓名）、身份證復(fù)印件一張。
培訓(xùn)特色
本課程基于最新的spark 2講解，內(nèi)容涵蓋了企業(yè)中大數(shù)據(jù)處理的四大場(chǎng)景：
離線批處理、流式計(jì)算、SQL處理、機(jī)器學(xué)習(xí)。Spark是一個(gè)廣泛應(yīng)用的分布式內(nèi)存計(jì)算模型，旨在大幅提升的迭代算法和交互低延遲數(shù)據(jù)挖掘的性能。Spark更適合于迭代運(yùn)算比較多的ML和DM運(yùn)算，one stack rule them all！Spark號(hào)稱一個(gè)平臺(tái)可以適合所有的應(yīng)用，如SparkSql可以處理結(jié)構(gòu)化數(shù)據(jù)，SparkStreaming旨在提供實(shí)時(shí)的計(jì)算能力，而SparkMllib則提供了豐富機(jī)器學(xué)習(xí)算法庫(kù)。
查看更多
為響應(yīng)國(guó)家“人才興國(guó)、科教興國(guó)”戰(zhàn)略，緩解中國(guó)軟件技術(shù)人才需求日益緊張的現(xiàn)狀，推動(dòng)中國(guó)軟件業(yè)的發(fā)展，培養(yǎng)一批高素質(zhì)的軟件專業(yè)人才，在工信部以及相關(guān)領(lǐng)導(dǎo)的大力支持下2008年成立了中國(guó)軟件產(chǎn)業(yè)培訓(xùn)網(wǎng)（簡(jiǎn)稱“軟博教育”），軟博教育自成立以來(lái)即定位于軟件技術(shù)專業(yè)人才培養(yǎng)實(shí)訓(xùn)機(jī)構(gòu)，專注致力于軟件技術(shù)人才的培養(yǎng)，是中國(guó)科學(xué)院計(jì)算技術(shù)研究所教育中心合作培訓(xùn)機(jī)構(gòu)，也是工信部人才交流中心唯一指定的全國(guó)計(jì)算機(jī)專業(yè)技術(shù)人才培訓(xùn)基地”，“國(guó)家人力資源和社會(huì)保障部——全國(guó)信息化人才培養(yǎng)工程項(xiàng)目(即國(guó)家“653工程”)指定培養(yǎng)機(jī)構(gòu)”， 中國(guó)軟件產(chǎn)業(yè)培訓(xùn)網(wǎng)（中聯(lián)軟博（北京）科技有限公司）--率先在國(guó)內(nèi)開(kāi)展高級(jí)軟件架構(gòu)等IT高端培訓(xùn)的公開(kāi)課。多年來(lái)持續(xù)不斷的投入精力創(chuàng)新課程體系，至今已在國(guó)內(nèi)開(kāi)展公開(kāi)課培訓(xùn)的課程達(dá)十幾門，分別涵蓋軟件架構(gòu)、軟件設(shè)計(jì)、項(xiàng)目管理、質(zhì)量管理、需求工程、運(yùn)營(yíng)管理等領(lǐng)域，也根據(jù)企事業(yè)單位的實(shí)用需求, 通過(guò)定制培訓(xùn)方案，培訓(xùn)后的技術(shù)服務(wù)，將企業(yè)單位的信息化投資的效益發(fā)揮到最高點(diǎn)。目前中心已經(jīng)與幾百家企事業(yè)單位建立了長(zhǎng)期的培訓(xùn)合作關(guān)系, 深得用戶信賴和好評(píng)。
會(huì)議日程
（最終日程以會(huì)議現(xiàn)場(chǎng)為準(zhǔn)）
|
課程模塊 |
課程主題 |
主要內(nèi)容 |
|
模塊一 |
Spark 2.1概述 |
?1、Spark產(chǎn)生背景，包括mapreduce缺陷，多計(jì)算框架并存等 2、Spark 基本特點(diǎn) 3、Spark版本演化 4、Spark核心概念，包括RDD, transformation, action, cache等 5、Spark生態(tài)系統(tǒng)，包括Spark生態(tài)系統(tǒng)構(gòu)成，以及與Hadoop生態(tài)系統(tǒng)關(guān)系 6、Spark在互聯(lián)網(wǎng)公司中的地位與應(yīng)用 7、介紹當(dāng)前互聯(lián)網(wǎng)公司的Spark應(yīng)用案例 ?8、Spark集群搭建，包括測(cè)試集群搭建和生產(chǎn)環(huán)境中集群搭建方法，并親手演示整個(gè)過(guò)程 ?9、背景知識(shí)補(bǔ)充介紹 |
|
模塊二 ? |
Spark Core? |
?Spark 程序設(shè)計(jì)與企業(yè)級(jí)應(yīng)用案例 ?1、Spark運(yùn)行模式介紹 Spark運(yùn)行組件構(gòu)成，spark運(yùn)行模式（local、standalone、mesos/yarn等） 2、Spark開(kāi)發(fā)環(huán)境構(gòu)建 集成開(kāi)發(fā)環(huán)境選擇，親手演示spark程序開(kāi)發(fā)與調(diào)試，spark運(yùn)行 3、常見(jiàn)transformation與action用法 介紹常見(jiàn)transformation與action使用方法，以及代碼片段剖析 4、常見(jiàn)控制函數(shù)介紹 包括cache、broadcast、accumulator等 5、Spark 應(yīng)用案例：點(diǎn)擊流日志分析 包括：背景介紹，數(shù)據(jù)導(dǎo)入，數(shù)據(jù)分析，常見(jiàn)Spark transformation和action用法在線演示 |
|
模塊三 |
???Spark 內(nèi)部原理剖析與源碼閱讀 |
?1、Spark運(yùn)行模式剖析 ?深入分析spark運(yùn)行模式，包括local，standalone以及spark on yarn ?2、Spark運(yùn)行流程剖析 ?包括spark邏輯查詢計(jì)劃，物理查詢計(jì)劃以及分布式執(zhí)行 ?3、Spark shuffle剖析 ?深入介紹spark shuffle的實(shí)現(xiàn)，主要介紹hash-based和sort-based兩種實(shí)現(xiàn) ?4、Spark 源碼閱讀 ?Spark源碼構(gòu)成以及閱讀方法 |
|
模塊三 |
?????Spark ? 程序調(diào)優(yōu)技巧 |
?1、數(shù)據(jù)存儲(chǔ)格式調(diào)優(yōu)數(shù)據(jù)存儲(chǔ)格式選擇，數(shù)據(jù)壓縮算法選擇等 ?2、資源調(diào)優(yōu) 如何設(shè)置合理的executor、cpu和內(nèi)存數(shù)目，YARN多租戶調(diào)度器合理設(shè)置，啟用YARN的標(biāo)簽調(diào)度策略等 ?3、程序參數(shù)調(diào)優(yōu) 介紹常見(jiàn)的調(diào)優(yōu)參數(shù)，包括避免不必要的文件分發(fā)，調(diào)整任務(wù)并發(fā)度，提高數(shù)據(jù)本地性，JVM參數(shù)調(diào)優(yōu)，序列化等 4、程序?qū)崿F(xiàn)調(diào)優(yōu) 如何選擇最合適的transformation與action函數(shù) 5、調(diào)優(yōu)案例分享與演示 演示一個(gè)調(diào)優(yōu)案例，如何將一個(gè)spark程序的性能逐步優(yōu)化20倍以上。 |
|
模塊四 |
?Spark sql 2.1 |
??Spark SQL基本原理 ??1、Spark SQL是什么 ??2、Spark SQL基本原理 ??3、Spark ?Dataframe與DataSet ??4、Spark SQL與Spark Core的關(guān)系 |
|
模塊五 |
???Spark SQL 程序設(shè)計(jì)與企業(yè)級(jí)應(yīng)用案例 |
??1、Spark SQL程序設(shè)計(jì) ??a. ?如何訪問(wèn)MySQL、HDFS等數(shù)據(jù)源，如何處理parquet格式數(shù)據(jù) ??b. ?常用的DSL語(yǔ)法有哪些，如何使用 ??c. ?Spark SQL調(diào)優(yōu)技巧 ??d. ?數(shù)據(jù)傾斜解決方案 |
|
模塊六 |
???Spark Streaming程序設(shè)計(jì)及應(yīng)用案例 |
?1、Spark ?Streaming基本原理 ??a. ?Spark Streaming是什么 b. ?Spark Streaming基本原理 c. ?Structured Streaming ?d. ?Spark ?Streaming 編程接口介紹 e. ?Spark Streaming應(yīng)用案例 ??2、Spark ?Streaming程序設(shè)計(jì)與企業(yè)級(jí)應(yīng)用案例 ??a. ?常見(jiàn)流式數(shù)據(jù)處理模式 ?b. ?Spark Streaming與Kafka 交互 ?c. ?Spark Streaming與Redis交互 ?d. ?Spark Streaming部署與運(yùn)行 ?e. ?Spark Streaming企業(yè)級(jí)案例：用戶行為實(shí)時(shí)分析系統(tǒng) |
|
模塊七 |
Spark Mllib Spark MLlib 企業(yè)級(jí)案例 |
1. ?Spark MLlib簡(jiǎn)介 2. ?數(shù)據(jù)表示方式 3. ?MLlib中的聚類、分類和推薦算法 4. ?如何使用MLlib的算法 5. ?Spark MLLib企業(yè)級(jí)案例：用戶畫像之性別預(yù)測(cè) |
|
模塊八 |
Spark綜合案例 信用評(píng)分實(shí)時(shí)分析系統(tǒng) |
1. ?背景介紹 2. ?什么是Lambda architecture 3. ?利用Spark Core+MLlib+構(gòu)建離線處理 4. ?利用flume+Spark Streaming+Redis構(gòu)建實(shí)時(shí)處理線 5. ?整合批處理和實(shí)時(shí)處理線 |
|
模塊八 |
Spark綜合案例 信用評(píng)分實(shí)時(shí)分析系統(tǒng) |
1. ?背景介紹 2. ?什么是Lambda architecture 3. ?利用Spark Core+MLlib+構(gòu)建離線處理 4. ?利用flume+Spark Streaming+Redis構(gòu)建實(shí)時(shí)處理線 5. ?整合批處理和實(shí)時(shí)處理線 |
|
模塊九 |
典型項(xiàng)目 |
? 基于spark日志分析 |
查看更多
會(huì)議嘉賓
（最終出席嘉賓以會(huì)議現(xiàn)場(chǎng)為準(zhǔn)）
張老師：阿里大數(shù)據(jù)高級(jí)專家，國(guó)內(nèi)資深的Spark、Hadoop技術(shù)專家、虛擬化專家，對(duì)HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進(jìn)行了多年的深入的研究，更主要的是這些技術(shù)在大量的實(shí)際項(xiàng)目中得到廣泛的應(yīng)用，因此在Hadoop開(kāi)發(fā)和運(yùn)維方面積累了豐富的項(xiàng)目實(shí)施經(jīng)驗(yàn)。近年主要典型的項(xiàng)目有：某電信集團(tuán)網(wǎng)絡(luò)優(yōu)化、中國(guó)移動(dòng)某省移動(dòng)公司請(qǐng)賬單系統(tǒng)和某省移動(dòng)詳單實(shí)時(shí)查詢系統(tǒng)、中國(guó)銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺(tái)、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運(yùn)營(yíng)商全國(guó)用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項(xiàng)目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺(tái)項(xiàng)目等?！?br/>
查看更多
參會(huì)指南
會(huì)議門票
培訓(xùn)費(fèi)6800元。（含培訓(xùn)費(fèi)、資料費(fèi)、考試費(fèi)、證書費(fèi)、講義光盤費(fèi)等）。需要住宿學(xué)員請(qǐng)?zhí)崆巴ㄖ山y(tǒng)一安排，費(fèi)用自理。
10月貴陽(yáng)班???????
查看更多
溫馨提示
酒店與住宿:
為防止極端情況下活動(dòng)延期或取消，建議“異地客戶”與活動(dòng)家客服確認(rèn)參會(huì)信息后，再安排出行與住宿。
退款規(guī)則:
活動(dòng)各項(xiàng)資源需提前采購(gòu)，購(gòu)票后不支持退款，可以換人參加。
您可能還會(huì)關(guān)注
-
DAMS2025中國(guó)數(shù)據(jù)智能管理峰會(huì)（上海）
2025-09-12 上海
-
SECon 2025 全球軟件工程技術(shù)大會(huì)·深圳
2025-06-20 深圳
-
SECON 2025全球軟件工程技術(shù)大會(huì)·上海
2025-11-21 上海
-
AICon 全球人工智能開(kāi)發(fā)與應(yīng)用大會(huì) 2025·上海
2025-05-23 上海
猜你喜歡
部分參會(huì)單位
微信掃一掃
分享給朋友
郵件提醒通知
贊助
