時間

培訓內容

教學方式

第一天

上午

第一部分：移動互聯(lián)網、大數(shù)據(jù)、云計算相關技術介紹

第二部分：大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向

理論講授+案例分析

下午

第三部分：大數(shù)據(jù)文件存儲系統(tǒng)技術和分布式文件系統(tǒng)平臺及其應用

第四部分：Hadoop文件系統(tǒng)HDFS最佳實戰(zhàn)

理論講授+案例分析+小組討論

第二天

上午

第五部分：Hadoop運維管理與性能調優(yōu)

第六部分：NOSQL數(shù)據(jù)庫Hbase與Redis

理論講授+案例分析+實戰(zhàn)演練

下午

第七部分：類SQL語句工具——Hive

第八部分：數(shù)據(jù)挖掘SPARK建?；A介紹

理論講授+案例分析+實戰(zhàn)演練

第三天

上午

第九部分：Kafka基礎介紹

第十部分：大數(shù)據(jù)典型應用與開發(fā)案例分析：互聯(lián)網數(shù)據(jù)運營

理論講授+案例分析

下午

第十一部分：當前數(shù)據(jù)中心的改造和轉換分析-以國內外運營商、互聯(lián)網公司為例

第十二部分：課程總結與問題答疑

評估培訓

理論講授+案例分析+小組討論

第四天

學員考試與業(yè)界交流

課程模塊

課程主題

主要內容及案例和演示

模塊一

移動互聯(lián)網、大數(shù)據(jù)、云計算相關技術介紹

數(shù)據(jù)中心與云計算技術應用

智慧城市與云計算技術應用

移動互聯(lián)網、大數(shù)據(jù)與云計算關聯(lián)技術

移動云計算的生態(tài)系統(tǒng)及產業(yè)鏈

大數(shù)據(jù)技術在運營商、金融業(yè)、銀行業(yè)、電子商務行業(yè)、零售業(yè)、制造業(yè)、
政務信息化、互聯(lián)網、教育信息化等行業(yè)中的應用實踐

國內外主流的大數(shù)據(jù)解決方案介紹

當前大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案的剖析比較

Cloudera Hadoop 大數(shù)據(jù)平臺方案剖析

開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺剖析

模塊二

大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向

大數(shù)據(jù)時代的挑戰(zhàn)
戰(zhàn)略決策能力
技術開發(fā)和數(shù)據(jù)處理能力
組織和運營能力

大數(shù)據(jù)時代的發(fā)展方向

云計算是基礎設施架構
大數(shù)據(jù)是靈魂資產
分析、挖掘是手段
發(fā)現(xiàn)和預測是最終目標

大數(shù)據(jù)挖掘在各行業(yè)應用情況

電信行業(yè)應用及案例分析
互聯(lián)網行業(yè)應用及案例分析
金融行業(yè)應用及案例研究
銷售行業(yè)應用案例分析

模塊三

大數(shù)據(jù)文件存儲系統(tǒng)技術和分布式文件系統(tǒng)平臺及其應用

Hadoop的發(fā)展歷程
Hadoop大數(shù)據(jù)平臺架構
基于Hadoop平臺的PB級大數(shù)據(jù)存儲管理與分析處理的工作原理與機制
Hadoop 的核心組件剖析

分布式文件系統(tǒng)HDFS

概述、功能、作用、優(yōu)勢
應用范疇、應用現(xiàn)狀
發(fā)展趨勢

分布式文件系統(tǒng)HDFS架構及原理

核心關鍵技術
設計精髓
基本工作原理
系統(tǒng)架構
文件存儲模式
工作機制
存儲擴容與吞吐性能擴展

分布式文件系統(tǒng)HDFS操作

SHELL命令操作
I/O流式操作
文件數(shù)據(jù)讀取、寫入、追加、刪除
文件狀態(tài)查詢
數(shù)據(jù)塊分布機制
數(shù)據(jù)同步與一致性
元數(shù)據(jù)管理技術
主節(jié)點與從節(jié)點工作機制
大數(shù)據(jù)負載均衡技術
HDFS大數(shù)據(jù)存儲集群管理技術

Hadoop生態(tài)系統(tǒng)組件

Storm
HDFS
MapReduce
HIVE
HBase
Spark
GraphX
MLib
Shark

模塊四

Hadoop文件系統(tǒng)HDFS最佳實戰(zhàn)

HDFS的設計

HDFS的概念
數(shù)據(jù)塊
namenode和datanode
聯(lián)邦HDFS
HDFS的高可用性

命令行接口

Hadoop文件系統(tǒng)

Java接口

從Hadoop URL讀取數(shù)據(jù)
通過FileSystem API讀取數(shù)據(jù)
寫入數(shù)據(jù)
目錄
查詢文件系統(tǒng)
刪除數(shù)據(jù)

數(shù)據(jù)流

剖析文件讀取
剖析文件寫入
一致模型

通過Flume和Sqoop導入數(shù)據(jù)

通過distcp并行復制

Hadoop存檔

使用Hadoop存檔工具
不足

模塊五

Hadoop運維管理與性能調優(yōu)

第二代大數(shù)據(jù)處理框架
Yarn的工作原理及
DAG并行執(zhí)行機制
Yarn大數(shù)據(jù)分析處理案例分析
Yarn 框架并行應用程序實踐
?

集群配置管理
Hadoop集群配置
Hadoop性能調優(yōu)與參數(shù)配置
Hadoop機架感知策略與配置
Hadoop壓縮機制
Hadoop任務負載均衡
Hadoop 集群維護
Hadoop監(jiān)控管理

HDFS的靜態(tài)調優(yōu)技巧
HDFS 的高吞吐量I/O性能調優(yōu)技巧
MapReduce/Yarn的并行處理性能調優(yōu)技巧
Hadoop集群的運行故障剖析，以及解決方案
基于Hadoop大數(shù)據(jù)應用程序的性能瓶頸剖析與提
Hadoop 大數(shù)據(jù)運維監(jiān)控管理系統(tǒng)?HUE 平臺的安裝部署與應用配置
Hadoop運維管理監(jiān)控系統(tǒng)Ambari平臺的安裝部配置
Hadoop 集群運維系

模塊六

NOSQL數(shù)據(jù)庫Hbase與Redis

NOSQL基礎
CAP理論
Base與ACID
NOSQL數(shù)據(jù)庫存儲類型值存儲

HBase分布式數(shù)據(jù)基礎3

.安裝Hbase

4.Hbase應用
HBase的邏輯數(shù)據(jù)模型，HBase的表、行、列族、列、單元格、版本、row key排序
HBase的物理模型，命名空間（表空間）、表模式（Schema）的設計法則
HBase 主節(jié)點HMaster的工作原理，HMaster的高可用配置，以及性能調優(yōu)
HBase 從節(jié)點RegionServer（分區(qū)服務節(jié)點）的工作原理，表分區(qū)及存儲I/O高并發(fā)配置，以及性能調優(yōu)
HBase的存儲引擎工作原理，以及HBase表數(shù)據(jù)的鍵值存儲結構，以及HFile存儲結構剖析
HBase表設計與數(shù)據(jù)操作以及數(shù)據(jù)庫管理操作
HBase集群的安裝部署、參數(shù)配置和性能優(yōu)化

HBase分布式數(shù)據(jù)庫簡介、發(fā)展歷程、應用場景、工作原理、以及應用優(yōu)勢與不足之處
HBase分布式數(shù)據(jù)庫集群的主從式平臺架構和關鍵技術剖析
HBase偽分布式和物理集群分布式的控制與運行配置
HBase從節(jié)點RegionServer（分區(qū)服務節(jié)點）的工作原理，表分區(qū)及存儲I/O高并發(fā)配置，以及性能調優(yōu)
HBase的存儲引擎工作原理，以及HBase表數(shù)據(jù)的鍵值存儲結構，以及HFile存儲結構剖析
HBase表設計與數(shù)據(jù)操作以及數(shù)據(jù)庫管理操作
HBase集群的安裝部署、參數(shù)配置和性能優(yōu)化
ZooKeeper分布式協(xié)調服務系統(tǒng)的工作原理、平臺架構、集群部署應用實戰(zhàn)
ZooKeeper集群的原理架構，以及應用配置
Redis內存數(shù)據(jù)庫介紹，以及業(yè)界應用案例
Redis內存數(shù)據(jù)庫集群架構以及核心技術剖析
Redis 集群的安裝部署與應用開發(fā)實戰(zhàn)
?

模塊七

類SQL語句工具——Hive

安裝Hive

示例

運行
Hive配置
HiveHive服務
Metastore

Hive與傳統(tǒng)數(shù)據(jù)庫相比
讀時模式vs.寫時模式
更新、事務和索引

HiveQL
數(shù)據(jù)類型
操作與函數(shù)

表
托管表和外部表
分區(qū)和桶
存儲格式
導入數(shù)據(jù)
表的修改
表的丟棄

查詢數(shù)據(jù)
排序和聚集
MapReduce腳本
連接
子查詢
視圖

用戶定義函數(shù)
寫UDF
寫UDAF

模塊八

數(shù)據(jù)挖掘SPARK建模基礎介紹

?

Spark簡介
Spark是什么
Spark生態(tài)系統(tǒng)BDAS

Spark架構
Spark分布式架構與單機多核架構的異同

Spark集群的安裝與部署
Spark的安裝與部署
Spark集群初試

Spark硬件配置
Spark硬件
Spark硬件配置流程

模塊九

Kafka基礎介紹

Kafka介紹

kafka體系結構

kafka設計理念簡介

kafka通信協(xié)議

kafka的偽分布安裝、集群安裝

kafka的shell操作、java操作

kafka設計理念*

kafka producer和consumer開發(fā)

Kafka分布式消息訂閱系統(tǒng)的應用介紹、平臺架構、集群部署與配置應用實戰(zhàn)

Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型、平臺架構、集群部署與配置應用實戰(zhàn)

Hadoop與DBMS之間數(shù)據(jù)交互工具Sqoop的應用實踐，

Sqoop導入導出數(shù)據(jù)以及Sqoop集群部署與配置

Kettle 集群的平臺架構、核心技術、部署配置和應用實戰(zhàn)

利用Sqoop實現(xiàn)?MySQL 與?Hadoop 集群之間

模塊十

大數(shù)據(jù)典型應用與開發(fā)案例分析：互聯(lián)網數(shù)據(jù)運營

案例1：貴州數(shù)據(jù)交易中心
交易所交易形式：電子交易
交易所服務：大數(shù)據(jù)交易、大數(shù)據(jù)清洗建模分析、大數(shù)據(jù)定向采購、大數(shù)據(jù)平臺技術開發(fā)
大數(shù)據(jù)交易安全性探討分析
數(shù)據(jù)交易中心商業(yè)模式探討分析

案例2：大數(shù)據(jù)應用案例：公共交通線路的智能規(guī)劃
UrbanInsights：為公交公司提供基于訂閱訪問的大數(shù)據(jù)工具以及大數(shù)據(jù)咨詢服務
Urban Insights數(shù)據(jù)源、數(shù)據(jù)收集、數(shù)據(jù)倉庫、數(shù)據(jù)分析——設計運營線路
Urban Insights通過互聯(lián)網數(shù)據(jù)的運營

討論：浙江移動大數(shù)據(jù)應用與開發(fā)方向

模塊十一

當前數(shù)據(jù)中心的改造和轉換分析-以國內外運營商、互聯(lián)網公司為例

流商業(yè)大數(shù)據(jù)解決方案比較

主流開源云計算系統(tǒng)比較?

國內外代表性大數(shù)據(jù)平臺比較?

各廠商最新的大數(shù)據(jù)產品介紹

案例分析
Facebook的SNS平臺應用
Google的搜索引擎應用
Rackspace的日志處理
Verizon成立精準市場營銷部
TelefonicaDynamicInsights推出的名為“智慧足跡”的商業(yè)服務
中國聯(lián)通的“移動通信用戶上網記錄集中查詢與分析支撐系統(tǒng)”