培訓(xùn)內(nèi)容

第一講 數(shù)據(jù)中臺建設(shè)（基礎(chǔ)篇）

本節(jié)要點：

????中國的信息化建設(shè)開始由IT向著DT轉(zhuǎn)型，在未來的3-5年時間里，各行各業(yè)都會陸續(xù)建設(shè)起來自己的數(shù)據(jù)中臺。只有有了數(shù)據(jù)中臺作為基礎(chǔ)，才能落地更多的人工智能應(yīng)用。然而，什么是數(shù)據(jù)中臺，它有什么功能，該如何建設(shè)？本節(jié)從DT轉(zhuǎn)型的過程開始梳理，幫助大家準(zhǔn)確理解數(shù)據(jù)中臺的建設(shè)。

目標(biāo)：

????1、準(zhǔn)確理解數(shù)據(jù)中臺，數(shù)據(jù)驅(qū)動，以及數(shù)據(jù)價值變現(xiàn)

??2、在數(shù)據(jù)中臺中實踐“盡可能采集數(shù)據(jù)、更好地整理數(shù)據(jù)、有效地挖掘數(shù)據(jù)價值”

??3、將“自頂向下”與“自下而上”相結(jié)合，制訂切實可行的數(shù)據(jù)中臺建設(shè)路線圖

??4、數(shù)據(jù)中臺的技術(shù)架構(gòu)最終落地到分布式大數(shù)據(jù)技術(shù)上

內(nèi)容：

????1、從IT向DT的信息化轉(zhuǎn)型

?????1）以部門為單位的IT建設(shè)及其局限

?????2）基于SOA架構(gòu)的IT建設(shè)及其局限

?????3）互聯(lián)網(wǎng)架構(gòu)發(fā)展及其數(shù)據(jù)需求

?????結(jié)論：我們需要存儲、處理、應(yīng)用海量數(shù)據(jù)的能力

??2、數(shù)據(jù)應(yīng)用成熟度

?????1）查詢統(tǒng)計：數(shù)據(jù)分散于各業(yè)務(wù)系統(tǒng)，無質(zhì)量管控，應(yīng)用價值低

?????2）決策支持：數(shù)據(jù)集中于數(shù)據(jù)倉庫，有質(zhì)量管控，但局限于數(shù)據(jù)庫、數(shù)據(jù)采集手段等問題

?????3）數(shù)據(jù)中臺：讓數(shù)據(jù)產(chǎn)生價值（核心）

??3、數(shù)據(jù)中臺

?????1）盡可能多地收集數(shù)據(jù)

?????2）更好地整理歸集數(shù)據(jù)

?????3）如何去挖掘數(shù)據(jù)的價值

??4、數(shù)據(jù)中臺的建設(shè)思路

?????1）自頂而下

?????2）自下而上

??5、數(shù)據(jù)中臺的技術(shù)架構(gòu)

?

第二講 數(shù)據(jù)中臺建設(shè)（大數(shù)據(jù)篇）

本節(jié)要點：

數(shù)據(jù)中臺建設(shè)的底層技術(shù)框架是大數(shù)據(jù)技術(shù)。通過大數(shù)據(jù)技術(shù)，可以為數(shù)據(jù)中臺提供豐富的手段，采集更多的數(shù)據(jù)、更高效處理數(shù)據(jù)，以及有更多的方式挖掘數(shù)據(jù)價值。那么，什么是大數(shù)據(jù)技術(shù)，它們有什么豐富的手段，怎么建設(shè)大數(shù)據(jù)技術(shù)中臺，去支撐數(shù)據(jù)中臺？

目標(biāo)：

????1、了解大數(shù)據(jù)技術(shù)的運行原理，理解大數(shù)據(jù)為什么能夠高效處理海量數(shù)據(jù)

??2、掌握大數(shù)據(jù)有哪些豐富的技術(shù)，如何支撐數(shù)據(jù)中臺的各個層次的應(yīng)用

??3、掌握大數(shù)據(jù)技術(shù)中臺的建設(shè)思路，如何封裝技術(shù)框架、支撐業(yè)務(wù)應(yīng)用

內(nèi)容：

??1、傳統(tǒng)關(guān)系型數(shù)據(jù)庫的設(shè)計局限

???????1）數(shù)據(jù)量

?????2）計算能力

?????3）數(shù)據(jù)復(fù)雜性

??2、分布式大數(shù)據(jù)的設(shè)計理念

?????1）分布式并行計算

?????2）移動計算而不是移動數(shù)據(jù)

?????3）分布式計算發(fā)展歷程與未來趨勢

??3、大數(shù)據(jù)技術(shù)及其生態(tài)圈

?????1）Hadoop核心組件：MapReduce，HDFS

?????2）并行計算框架：Spark vs. MapReduce

?????3）在線查詢：HBase與Impala

?????4）流式計算：Flink vs. Spark Stream

?????5）文本索引：Solr vs. ElasticSearch

?????6）Zookeeper與高可靠架構(gòu)

?????7）Kafka分布式隊列與日志收集

?????8）數(shù)據(jù)挖掘工具：Mahout、SparkR與Spark ML

??4、數(shù)據(jù)中臺的大數(shù)據(jù)技術(shù)中臺建設(shè)

?????1）數(shù)據(jù)中臺的大數(shù)據(jù)技術(shù)框架

?????2）數(shù)據(jù)中臺的大數(shù)據(jù)關(guān)鍵技術(shù)

????????a.?Hadoop的工作原理與HDFS

????????b. Spark的工作原理與分布式內(nèi)存計算

?????3）數(shù)據(jù)中臺的大數(shù)據(jù)技術(shù)中臺建設(shè)

????????a.將技術(shù)框架與業(yè)務(wù)應(yīng)用解耦

?b.抽象共性、降本增效的思想方法

?c.業(yè)務(wù)層、基礎(chǔ)層與技術(shù)層的建設(shè)思路

?

第三講 數(shù)據(jù)中臺建設(shè)（數(shù)據(jù)治理篇）

本節(jié)要點：

????在數(shù)據(jù)中臺建設(shè)中，數(shù)據(jù)治理起到及其重要的作用，可以有效地進(jìn)行數(shù)據(jù)質(zhì)量管理，為后續(xù)的數(shù)據(jù)應(yīng)用打下良好的基礎(chǔ)。在本節(jié)課程中，老師詳細(xì)拆解，多樣化地采集數(shù)據(jù)，設(shè)計ETL過程，進(jìn)行數(shù)據(jù)質(zhì)量管理，運用大數(shù)據(jù)技術(shù)構(gòu)建數(shù)據(jù)倉庫。

目標(biāo)：

????1、掌握大數(shù)據(jù)技術(shù)結(jié)構(gòu)化與非結(jié)構(gòu)化的數(shù)據(jù)采集

??2、掌握數(shù)據(jù)中臺的ETL過程與數(shù)據(jù)倉庫建設(shè)實踐

??3、如何運用大數(shù)據(jù)技術(shù)進(jìn)行ETL過程與數(shù)據(jù)倉庫建設(shè)

內(nèi)容：

1、數(shù)據(jù)中臺中數(shù)據(jù)采集功能的建設(shè)思路

?1）結(jié)構(gòu)化數(shù)據(jù)采集（Sqoop框架）及其案例實戰(zhàn)

?a. Sqoop數(shù)據(jù)導(dǎo)入設(shè)計實戰(zhàn)

?b. Sqoop數(shù)據(jù)導(dǎo)出設(shè)計實戰(zhàn)

?c. Sqoop在大數(shù)據(jù)技術(shù)中臺中的設(shè)計思路

?2）非結(jié)構(gòu)化數(shù)據(jù)采集（flume+kafka+spark streaming）及其案例實戰(zhàn)

?a. flume+kafka+spark streaming的設(shè)計原理

?b.用戶行為分析的應(yīng)用實戰(zhàn)

2、數(shù)據(jù)中臺中的數(shù)據(jù)質(zhì)量管理與數(shù)據(jù)倉庫

1） ETL過程中數(shù)據(jù)清洗、轉(zhuǎn)換、集成及其應(yīng)用實戰(zhàn)

2）運用大數(shù)據(jù)技術(shù)進(jìn)行ETL過程的應(yīng)用實戰(zhàn)

?a. Spark+Hive的設(shè)計原理與實戰(zhàn)

?b. Spark+Hive在大數(shù)據(jù)技術(shù)中臺中的設(shè)計思路

3）多維數(shù)據(jù)模型與數(shù)據(jù)倉庫建設(shè)

?a. 多維數(shù)據(jù)模型的概念及其應(yīng)用實踐

?b. 雪花模型、星形模型與主題域模型的建設(shè)過程

?c. 分享在數(shù)據(jù)倉庫建設(shè)上遇到的那些“坑”及其解決思路

3、數(shù)據(jù)中臺的質(zhì)量體系建設(shè)

?????1）數(shù)據(jù)體系規(guī)劃：原始數(shù)據(jù)層、數(shù)據(jù)倉庫層、數(shù)據(jù)集市層

?????2）數(shù)據(jù)資產(chǎn)管理：資產(chǎn)規(guī)劃、數(shù)據(jù)治理、標(biāo)簽管理

?????3）數(shù)據(jù)質(zhì)量管理：元數(shù)據(jù)管理、數(shù)據(jù)血緣管理

?????4）數(shù)據(jù)倉庫建設(shè)：多維數(shù)據(jù)建模、事實表、維度表、聚合表

?

第四講 數(shù)據(jù)中臺建設(shè)（數(shù)據(jù)應(yīng)用篇）

本節(jié)要點：

????數(shù)據(jù)中臺建設(shè)的核心就是數(shù)據(jù)驅(qū)動，也就是以數(shù)據(jù)價值變現(xiàn)為核心，思考如何挖掘數(shù)據(jù)價值、設(shè)計數(shù)據(jù)產(chǎn)品、形成數(shù)據(jù)應(yīng)用，甚至是智能應(yīng)用。老師將通過一大波的應(yīng)用案例，帶領(lǐng)大家去探尋數(shù)據(jù)應(yīng)用的神奇世界，挖掘數(shù)據(jù)應(yīng)用世界的神奇寶藏，以及挖掘這些寶藏的金鑰匙（思路與方法）

目標(biāo)：

??1、掌握數(shù)據(jù)價值變現(xiàn)的常見方法（可視化、風(fēng)控、推薦、人工智能等）

??2、掌握基于數(shù)據(jù)集市的數(shù)據(jù)建模過程（經(jīng)驗?zāi)Ｐ汀?shù)據(jù)模型）

??3、掌握如何將數(shù)據(jù)應(yīng)用落地到大數(shù)據(jù)技術(shù)中臺建設(shè)

內(nèi)容：

1、數(shù)據(jù)中臺的核心是數(shù)據(jù)價值變現(xiàn)

?????1）數(shù)據(jù)可視化

????????案例：網(wǎng)絡(luò)運營商大數(shù)據(jù)監(jiān)控系統(tǒng)建設(shè)過程

?????2）數(shù)據(jù)風(fēng)控

????????案例：稅務(wù)系統(tǒng)虛開發(fā)票風(fēng)險監(jiān)控系統(tǒng)建設(shè)過程

?????3）數(shù)字化運營

????????案例：用戶行為分析與數(shù)字化運營的建設(shè)過程

?????4）數(shù)據(jù)挖掘與人工智能

????????案例：遠(yuǎn)程智慧醫(yī)療平臺的人工智能建設(shè)過程

2、數(shù)據(jù)集市的系統(tǒng)建設(shè)與數(shù)據(jù)標(biāo)簽

1）數(shù)據(jù)集市的概念與應(yīng)用舉例

案例：稅務(wù)系統(tǒng)虛開發(fā)票風(fēng)險監(jiān)控系統(tǒng)的數(shù)據(jù)集市應(yīng)用

2）數(shù)據(jù)血緣管理的概念及其設(shè)計

a. 數(shù)據(jù)血緣管理在數(shù)據(jù)質(zhì)量管理中的重要作用

b. 數(shù)據(jù)血緣管理的相關(guān)設(shè)計及其實踐

3）數(shù)據(jù)標(biāo)簽的分析設(shè)計與開發(fā)

a. 數(shù)據(jù)標(biāo)簽的類型與在數(shù)據(jù)分析中的作用

b. 數(shù)據(jù)標(biāo)簽融合表及其設(shè)計實踐

?

第五講 數(shù)據(jù)中臺建設(shè)（數(shù)據(jù)服務(wù)篇）

本節(jié)要點：

??數(shù)據(jù)中臺經(jīng)過一系列的分析處理之后，最終要對外提供數(shù)據(jù)服務(wù)才能價值變現(xiàn)。數(shù)據(jù)展現(xiàn)與數(shù)據(jù)服務(wù)是價值變現(xiàn)的最后一步，是用戶對產(chǎn)品質(zhì)量最直觀的感受。因此，數(shù)據(jù)服務(wù)需要提供良好的用戶體驗，就需要數(shù)據(jù)服務(wù)“快、準(zhǔn)、美”。

目標(biāo)：

????1、掌握在海量數(shù)據(jù)中離線分析、在線分析與近線分析的設(shè)計思路

??2、掌握在海量數(shù)據(jù)中秒級查詢的設(shè)計思路（數(shù)據(jù)索引）與實踐

??3、理解打造支持快速數(shù)據(jù)分析展現(xiàn)的大數(shù)據(jù)技術(shù)中臺建設(shè)思路

內(nèi)容：

????1、海量數(shù)據(jù)的離線分析、在線分析與近線分析

?????1）離線分析的概念與設(shè)計實踐

????????案例：稅務(wù)系統(tǒng)虛開發(fā)票風(fēng)險監(jiān)控系統(tǒng)的風(fēng)險數(shù)據(jù)離線分析

?????2）在線分析的概念與設(shè)計實踐

????????案例：網(wǎng)絡(luò)運營商大數(shù)據(jù)監(jiān)控系統(tǒng)的實時流量監(jiān)控

?????3）近線分析的概念與設(shè)計實踐

????????案例：用戶行為分析與數(shù)字化運營的分析設(shè)計過程

????2、海量數(shù)據(jù)的秒級查詢的設(shè)計實現(xiàn)

?????1）分布式NoSQL數(shù)據(jù)庫的設(shè)計實踐

?????????a. 傳統(tǒng)關(guān)系型數(shù)據(jù)庫的局限與NoSQL數(shù)據(jù)庫

????????b. MongoDB的工作原理與設(shè)計實踐

????????c. HBase的工作原理與設(shè)計實踐

?????2）分布式索引ElasticSearch的設(shè)計實踐

????????a. ElasticSearch的工作原理與設(shè)計實踐

????????b. ElasticSearch的優(yōu)化與在技術(shù)中臺中的設(shè)計思路

?????3）分布式MOLAP框架Kylin的設(shè)計實踐

????????a. Kylin的工作原理與設(shè)計實踐

????????b. Kylin的降維設(shè)計與性能優(yōu)化

????3、海量數(shù)據(jù)的數(shù)據(jù)服務(wù)與數(shù)據(jù)共享

?????1）大數(shù)據(jù)分析報表系統(tǒng)的技術(shù)中臺建設(shè)思路

?????2）大數(shù)據(jù)服務(wù)共享平臺的技術(shù)架構(gòu)與建設(shè)思路

?????????