各有關(guān)單位：

中國科學院計算技術(shù)研究所是國家專門的計算技術(shù)研究機構(gòu)，同時也是中國信息化建設(shè)和人工智能建設(shè)的重要支撐單位，中科院計算所培訓中心是致力于高端IT類人才培養(yǎng)及企業(yè)內(nèi)訓的專業(yè)培訓機構(gòu)。中心憑借科學院的強大師資力量，在總結(jié)多年大型軟件開發(fā)和組織經(jīng)驗的基礎(chǔ)上，自主研發(fā)出一整套課程體系，其目的是希望能夠切實幫助中國軟件企業(yè)培養(yǎng)高級軟件技術(shù)人才，提升整體研發(fā)能力，迄今為止已先后為國家培養(yǎng)了數(shù)萬名計算機專業(yè)人員，并先后為數(shù)千家大型國內(nèi)外企業(yè)進行過專門的定制培訓服務(wù)。

中國的IT產(chǎn)業(yè)經(jīng)歷了十多年的發(fā)展，已經(jīng)獲得了長足的進步。未來IT產(chǎn)業(yè)新的增長點包括數(shù)字產(chǎn)業(yè)、機器學習、人工智能。但當我們真正要開展這類業(yè)務(wù)時，卻驚奇地發(fā)現(xiàn)，沒有數(shù)據(jù)中臺，我們什么都干不了。為解決相關(guān)企業(yè)數(shù)據(jù)中臺與大數(shù)據(jù)建設(shè)的需要，培訓中心特舉辦“數(shù)據(jù)中臺與大數(shù)據(jù)建設(shè)的方法及實踐”培訓班，具體事宜通知如下：

一、培訓對象

1、系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員。

2、牽涉到海量數(shù)據(jù)處理的機構(gòu)數(shù)據(jù)中心運行、規(guī)劃、設(shè)計負責人。

3、云服務(wù)運營服務(wù)提供商規(guī)劃負責人。

4、高校、科研院所牽涉到數(shù)據(jù)中臺與大數(shù)據(jù)的項目負責人。

二、培訓特色

本課程的授課特點是注重實戰(zhàn)，通過講師十幾年經(jīng)驗收集的大量真實案例，與學員共同探討數(shù)據(jù)中臺的技術(shù)架構(gòu)，以及如何簡化技術(shù)開發(fā)成本，開展更多的數(shù)據(jù)挖掘、人工智能業(yè)務(wù)的思路與模式。通過總結(jié)以往項目過程中技術(shù)人員常犯的錯誤，分析和探討正確的方法論，使相關(guān)企業(yè)少走彎路，高效構(gòu)建屬于自己的數(shù)據(jù)中臺。

三、師資

范老師

航天信息前首席架構(gòu)師，暢銷書籍《大話重構(gòu)》作者，規(guī)?；艚?/span>SPC，軟件架構(gòu)及重構(gòu)的客座講師，獨立咨詢顧問。先后參與了數(shù)十個國內(nèi)大型軟件項目，涉及國家財政、軍工、稅務(wù)、醫(yī)療等領(lǐng)域的大數(shù)據(jù)建設(shè)、風險防控與人工智能研究，互聯(lián)網(wǎng)及大數(shù)據(jù)轉(zhuǎn)型的實踐者與倡導者。

四、培訓內(nèi)容

第一講 數(shù)據(jù)中臺建設(shè)（基礎(chǔ)篇）

本節(jié)要點：

????中國的信息化建設(shè)開始由IT向著DT轉(zhuǎn)型，在未來的3-5年時間里，各行各業(yè)都會陸續(xù)建設(shè)起來自己的數(shù)據(jù)中臺。只有有了數(shù)據(jù)中臺作為基礎(chǔ)，才能落地更多的人工智能應(yīng)用。然而，什么是數(shù)據(jù)中臺，它有什么功能，該如何建設(shè)？本節(jié)從DT轉(zhuǎn)型的過程開始梳理，幫助大家準確理解數(shù)據(jù)中臺的建設(shè)。

目標：

????1、準確理解數(shù)據(jù)中臺，數(shù)據(jù)驅(qū)動，以及數(shù)據(jù)價值變現(xiàn)

??2、在數(shù)據(jù)中臺中實踐“盡可能采集數(shù)據(jù)、更好地整理數(shù)據(jù)、有效地挖掘數(shù)據(jù)價值”

??3、將“自頂向下”與“自下而上”相結(jié)合，制訂切實可行的數(shù)據(jù)中臺建設(shè)路線圖

??4、數(shù)據(jù)中臺的技術(shù)架構(gòu)最終落地到分布式大數(shù)據(jù)技術(shù)上

內(nèi)容：

????1、從IT向DT的信息化轉(zhuǎn)型

?????1）以部門為單位的IT建設(shè)及其局限

?????2）基于SOA架構(gòu)的IT建設(shè)及其局限

?????3）互聯(lián)網(wǎng)架構(gòu)發(fā)展及其數(shù)據(jù)需求

?????結(jié)論：我們需要存儲、處理、應(yīng)用海量數(shù)據(jù)的能力

??2、數(shù)據(jù)應(yīng)用成熟度

?????1）查詢統(tǒng)計：數(shù)據(jù)分散于各業(yè)務(wù)系統(tǒng)，無質(zhì)量管控，應(yīng)用價值低

?????2）決策支持：數(shù)據(jù)集中于數(shù)據(jù)倉庫，有質(zhì)量管控，但局限于數(shù)據(jù)庫、數(shù)據(jù)采集手段等問題

?????3）數(shù)據(jù)中臺：讓數(shù)據(jù)產(chǎn)生價值（核心）

??3、數(shù)據(jù)中臺

?????1）盡可能多地收集數(shù)據(jù)

?????2）更好地整理歸集數(shù)據(jù)

?????3）如何去挖掘數(shù)據(jù)的價值

??4、數(shù)據(jù)中臺的建設(shè)思路

?????1）自頂而下

?????2）自下而上

??5、數(shù)據(jù)中臺的技術(shù)架構(gòu)

第二講 數(shù)據(jù)中臺建設(shè)（大數(shù)據(jù)篇）

本節(jié)要點：

數(shù)據(jù)中臺建設(shè)的底層技術(shù)框架是大數(shù)據(jù)技術(shù)。通過大數(shù)據(jù)技術(shù)，可以為數(shù)據(jù)中臺提供豐富的手段，采集更多的數(shù)據(jù)、更高效處理數(shù)據(jù)，以及有更多的方式挖掘數(shù)據(jù)價值。那么，什么是大數(shù)據(jù)技術(shù)，它們有什么豐富的手段，怎么建設(shè)大數(shù)據(jù)技術(shù)中臺，去支撐數(shù)據(jù)中臺？

目標：

????1、了解大數(shù)據(jù)技術(shù)的運行原理，理解大數(shù)據(jù)為什么能夠高效處理海量數(shù)據(jù)

??2、掌握大數(shù)據(jù)有哪些豐富的技術(shù)，如何支撐數(shù)據(jù)中臺的各個層次的應(yīng)用

??3、掌握大數(shù)據(jù)技術(shù)中臺的建設(shè)思路，如何封裝技術(shù)框架、支撐業(yè)務(wù)應(yīng)用

內(nèi)容：

??1、傳統(tǒng)關(guān)系型數(shù)據(jù)庫的設(shè)計局限

???????1）數(shù)據(jù)量

?????2）計算能力

?????3）數(shù)據(jù)復雜性

??2、分布式大數(shù)據(jù)的設(shè)計理念

?????1）分布式并行計算

?????2）移動計算而不是移動數(shù)據(jù)

?????3）分布式計算發(fā)展歷程與未來趨勢

??3、大數(shù)據(jù)技術(shù)及其生態(tài)圈

?????1）Hadoop核心組件：MapReduce，HDFS

?????2）并行計算框架：Spark vs. MapReduce

?????3）在線查詢：HBase與Impala

?????4）流式計算：Flink vs. Spark Stream

?????5）文本索引：Solr vs. ElasticSearch

?????6）Zookeeper與高可靠架構(gòu)

?????7）Kafka分布式隊列與日志收集

?????8）數(shù)據(jù)挖掘工具：Mahout、SparkR與Spark ML

??4、數(shù)據(jù)中臺的大數(shù)據(jù)技術(shù)中臺建設(shè)

?????1）數(shù)據(jù)中臺的大數(shù)據(jù)技術(shù)框架

?????2）數(shù)據(jù)中臺的大數(shù)據(jù)關(guān)鍵技術(shù)

????????a.?Hadoop的工作原理與HDFS

????????b. Spark的工作原理與分布式內(nèi)存計算

?????3）數(shù)據(jù)中臺的大數(shù)據(jù)技術(shù)中臺建設(shè)

????????a.將技術(shù)框架與業(yè)務(wù)應(yīng)用解耦

?b.抽象共性、降本增效的思想方法

?c.業(yè)務(wù)層、基礎(chǔ)層與技術(shù)層的建設(shè)思路

第三講 數(shù)據(jù)中臺建設(shè)（數(shù)據(jù)治理篇）

本節(jié)要點：

????在數(shù)據(jù)中臺建設(shè)中，數(shù)據(jù)治理起到及其重要的作用，可以有效地進行數(shù)據(jù)質(zhì)量管理，為后續(xù)的數(shù)據(jù)應(yīng)用打下良好的基礎(chǔ)。在本節(jié)課程中，老師詳細拆解，多樣化地采集數(shù)據(jù)，設(shè)計ETL過程，進行數(shù)據(jù)質(zhì)量管理，運用大數(shù)據(jù)技術(shù)構(gòu)建數(shù)據(jù)倉庫。

目標：

????1、掌握大數(shù)據(jù)技術(shù)結(jié)構(gòu)化與非結(jié)構(gòu)化的數(shù)據(jù)采集

??2、掌握數(shù)據(jù)中臺的ETL過程與數(shù)據(jù)倉庫建設(shè)實踐

??3、如何運用大數(shù)據(jù)技術(shù)進行ETL過程與數(shù)據(jù)倉庫建設(shè)

內(nèi)容：

1、數(shù)據(jù)中臺中數(shù)據(jù)采集功能的建設(shè)思路

?1）結(jié)構(gòu)化數(shù)據(jù)采集（Sqoop框架）及其案例實戰(zhàn)

?a. Sqoop數(shù)據(jù)導入設(shè)計實戰(zhàn)

?b. Sqoop數(shù)據(jù)導出設(shè)計實戰(zhàn)

?c. Sqoop在大數(shù)據(jù)技術(shù)中臺中的設(shè)計思路

?2）非結(jié)構(gòu)化數(shù)據(jù)采集（flume+kafka+spark streaming）及其案例實戰(zhàn)

?a. flume+kafka+spark streaming的設(shè)計原理

?b.用戶行為分析的應(yīng)用實戰(zhàn)

2、數(shù)據(jù)中臺中的數(shù)據(jù)質(zhì)量管理與數(shù)據(jù)倉庫

1） ETL過程中數(shù)據(jù)清洗、轉(zhuǎn)換、集成及其應(yīng)用實戰(zhàn)

2）運用大數(shù)據(jù)技術(shù)進行ETL過程的應(yīng)用實戰(zhàn)

?a. Spark+Hive的設(shè)計原理與實戰(zhàn)

?b. Spark+Hive在大數(shù)據(jù)技術(shù)中臺中的設(shè)計思路

3）多維數(shù)據(jù)模型與數(shù)據(jù)倉庫建設(shè)

?a. 多維數(shù)據(jù)模型的概念及其應(yīng)用實踐

?b. 雪花模型、星形模型與主題域模型的建設(shè)過程

?c. 分享在數(shù)據(jù)倉庫建設(shè)上遇到的那些“坑”及其解決思路

3、數(shù)據(jù)中臺的質(zhì)量體系建設(shè)

?????1）數(shù)據(jù)體系規(guī)劃：原始數(shù)據(jù)層、數(shù)據(jù)倉庫層、數(shù)據(jù)集市層

?????2）數(shù)據(jù)資產(chǎn)管理：資產(chǎn)規(guī)劃、數(shù)據(jù)治理、標簽管理

?????3）數(shù)據(jù)質(zhì)量管理：元數(shù)據(jù)管理、數(shù)據(jù)血緣管理

?????4）數(shù)據(jù)倉庫建設(shè)：多維數(shù)據(jù)建模、事實表、維度表、聚合表

第四講 數(shù)據(jù)中臺建設(shè)（數(shù)據(jù)應(yīng)用篇）

本節(jié)要點：

????數(shù)據(jù)中臺建設(shè)的核心就是數(shù)據(jù)驅(qū)動，也就是以數(shù)據(jù)價值變現(xiàn)為核心，思考如何挖掘數(shù)據(jù)價值、設(shè)計數(shù)據(jù)產(chǎn)品、形成數(shù)據(jù)應(yīng)用，甚至是智能應(yīng)用。老師將通過一大波的應(yīng)用案例，帶領(lǐng)大家去探尋數(shù)據(jù)應(yīng)用的神奇世界，挖掘數(shù)據(jù)應(yīng)用世界的神奇寶藏，以及挖掘這些寶藏的金鑰匙（思路與方法）

目標：

??1、掌握數(shù)據(jù)價值變現(xiàn)的常見方法（可視化、風控、推薦、人工智能等）

??2、掌握基于數(shù)據(jù)集市的數(shù)據(jù)建模過程（經(jīng)驗?zāi)Ｐ?、?shù)據(jù)模型）

??3、掌握如何將數(shù)據(jù)應(yīng)用落地到大數(shù)據(jù)技術(shù)中臺建設(shè)

內(nèi)容：

1、數(shù)據(jù)中臺的核心是數(shù)據(jù)價值變現(xiàn)

?????1）數(shù)據(jù)可視化

????????案例：網(wǎng)絡(luò)運營商大數(shù)據(jù)監(jiān)控系統(tǒng)建設(shè)過程

?????2）數(shù)據(jù)風控

????????案例：稅務(wù)系統(tǒng)虛開發(fā)票風險監(jiān)控系統(tǒng)建設(shè)過程

?????3）數(shù)字化運營

????????案例：用戶行為分析與數(shù)字化運營的建設(shè)過程

?????4）數(shù)據(jù)挖掘與人工智能

????????案例：遠程智慧醫(yī)療平臺的人工智能建設(shè)過程

2、數(shù)據(jù)集市的系統(tǒng)建設(shè)與數(shù)據(jù)標簽

1）數(shù)據(jù)集市的概念與應(yīng)用舉例

案例：稅務(wù)系統(tǒng)虛開發(fā)票風險監(jiān)控系統(tǒng)的數(shù)據(jù)集市應(yīng)用

2）數(shù)據(jù)血緣管理的概念及其設(shè)計

a. 數(shù)據(jù)血緣管理在數(shù)據(jù)質(zhì)量管理中的重要作用

b. 數(shù)據(jù)血緣管理的相關(guān)設(shè)計及其實踐

3）數(shù)據(jù)標簽的分析設(shè)計與開發(fā)

a. 數(shù)據(jù)標簽的類型與在數(shù)據(jù)分析中的作用

b. 數(shù)據(jù)標簽融合表及其設(shè)計實踐

第五講 數(shù)據(jù)中臺建設(shè)（數(shù)據(jù)服務(wù)篇）

本節(jié)要點：

??數(shù)據(jù)中臺經(jīng)過一系列的分析處理之后，最終要對外提供數(shù)據(jù)服務(wù)才能價值變現(xiàn)。數(shù)據(jù)展現(xiàn)與數(shù)據(jù)服務(wù)是價值變現(xiàn)的最后一步，是用戶對產(chǎn)品質(zhì)量最直觀的感受。因此，數(shù)據(jù)服務(wù)需要提供良好的用戶體驗，就需要數(shù)據(jù)服務(wù)“快、準、美”。

目標：

????1、掌握在海量數(shù)據(jù)中離線分析、在線分析與近線分析的設(shè)計思路

??2、掌握在海量數(shù)據(jù)中秒級查詢的設(shè)計思路（數(shù)據(jù)索引）與實踐

??3、理解打造支持快速數(shù)據(jù)分析展現(xiàn)的大數(shù)據(jù)技術(shù)中臺建設(shè)思路

內(nèi)容：

????1、海量數(shù)據(jù)的離線分析、在線分析與近線分析

?????1）離線分析的概念與設(shè)計實踐

????????案例：稅務(wù)系統(tǒng)虛開發(fā)票風險監(jiān)控系統(tǒng)的風險數(shù)據(jù)離線分析

?????2）在線分析的概念與設(shè)計實踐

????????案例：網(wǎng)絡(luò)運營商大數(shù)據(jù)監(jiān)控系統(tǒng)的實時流量監(jiān)控

?????3）近線分析的概念與設(shè)計實踐

????????案例：用戶行為分析與數(shù)字化運營的分析設(shè)計過程

????2、海量數(shù)據(jù)的秒級查詢的設(shè)計實現(xiàn)

?????1）分布式NoSQL數(shù)據(jù)庫的設(shè)計實踐

?????????a. 傳統(tǒng)關(guān)系型數(shù)據(jù)庫的局限與NoSQL數(shù)據(jù)庫

????????b. MongoDB的工作原理與設(shè)計實踐

????????c. HBase的工作原理與設(shè)計實踐

?????2）分布式索引ElasticSearch的設(shè)計實踐

????????a. ElasticSearch的工作原理與設(shè)計實踐

????????b. ElasticSearch的優(yōu)化與在技術(shù)中臺中的設(shè)計思路

?????3）分布式MOLAP框架Kylin的設(shè)計實踐

????????a. Kylin的工作原理與設(shè)計實踐

????????b. Kylin的降維設(shè)計與性能優(yōu)化

????3、海量數(shù)據(jù)的數(shù)據(jù)服務(wù)與數(shù)據(jù)共享

?????1）大數(shù)據(jù)分析報表系統(tǒng)的技術(shù)中臺建設(shè)思路

?????2）大數(shù)據(jù)服務(wù)共享平臺的技術(shù)架構(gòu)與建設(shè)思路

?????????

五、時間、形式

時間：2020年4月20日-4月24日（每天19:30-22:00，授課2小時，討論互動0.5小時）

????形式：線上

六、證書

培訓結(jié)束，頒發(fā)中科院計算所職業(yè)培訓中心“數(shù)據(jù)中臺與大數(shù)據(jù)建設(shè)的方法及實踐”結(jié)業(yè)證書。

培訓費：?原價6200元/人，特別價格2600元/人

中科院計算所職業(yè)培訓中心

---2020年四月份程安排

中國科學院計算技術(shù)研究所是國家專門的計算技術(shù)研究機構(gòu)，同時也是中國信息化建設(shè)的重要支撐單位。中科院計算所培訓中心致力于高端IT類人才培養(yǎng)，憑借科學院強大師資力量，在總結(jié)多年大型軟件開發(fā)和組織經(jīng)驗的基礎(chǔ)上，自主研發(fā)出一整套符合現(xiàn)代企業(yè)要求的課程體系，其目的是希望能切實幫助中國軟件企業(yè)培養(yǎng)高級軟件技術(shù)人才，提升企業(yè)整體研發(fā)與創(chuàng)新能力。迄今為止已先后為國家培養(yǎng)了數(shù)萬名計算機專業(yè)人員，并先后為數(shù)千家大型國內(nèi)外企業(yè)進行過專門的定制培訓與咨詢服務(wù)。

在新時代，培訓中心課程設(shè)置的重心轉(zhuǎn)向了體系建設(shè)、管理創(chuàng)新、技術(shù)創(chuàng)新與創(chuàng)新人才培養(yǎng)，依托科學院的科技實力，準確掌握科技領(lǐng)域的專業(yè)知識，深度挖掘科技創(chuàng)新在生產(chǎn)生活中的最新應(yīng)用，集結(jié)上百名活躍于各專業(yè)技術(shù)領(lǐng)域的優(yōu)秀講師，盡最大努力提供優(yōu)質(zhì)課程服務(wù)，幫助企業(yè)從思維、組織、過程、技術(shù)、方法、應(yīng)用等方面全面提升能力，與廣大企事業(yè)單位共同努力，讓國家信息產(chǎn)業(yè)的發(fā)展，緊跟世界進步的腳步。

鑒于目前的特殊情況，培訓中心適時推出了系列線上特價課程，將以往的季度排課，調(diào)整為每月中排出下個月的課程，四月份，我們設(shè)立了以下課程，誠邀各企事業(yè)單位及有志之士積極參與，以積極的心態(tài)共戰(zhàn)疫情，為疫情過后的快速發(fā)展奠定堅實的基礎(chǔ)。

四月份線上課程安排：