Spark大數(shù)據(jù)架構(gòu)專題（2017年2月 上海站）" src="http://pic.huodongjia.com/event/2017-06-24/1498290210.2.jpg"/>

Gavin.Liu 劉剛

畢業(yè)于大連理工大學(xué)，本科，有多年大數(shù)據(jù)分析類大型項(xiàng)目的架構(gòu)實(shí)施經(jīng)驗(yàn)，目前任職TD,先后服務(wù)于北京大學(xué)軟件研究所、高德軟件、阿里巴巴和Teradata，實(shí)施過基于Hadoop平臺PageRank算法的實(shí)現(xiàn)、高德大數(shù)據(jù)中心的建設(shè)(300+的Hadoop集群開發(fā)、優(yōu)化、運(yùn)維和提供服務(wù))、阿里巴巴OPDS大數(shù)據(jù)平臺維護(hù)、內(nèi)蒙移動(dòng)大數(shù)據(jù)平臺試點(diǎn)(Hadoop)、臺灣遠(yuǎn)傳Hadoop平臺開發(fā)和優(yōu)化、蘭州銀行大數(shù)據(jù)平臺的架構(gòu)和開發(fā)(Hadoop)、招商銀行的大數(shù)據(jù)咨詢規(guī)劃和設(shè)施。在大數(shù)據(jù)架構(gòu)、數(shù)據(jù)集成、數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)、實(shí)時(shí)推薦和營銷方面有豐富經(jīng)驗(yàn)，了解大數(shù)據(jù)在互聯(lián)網(wǎng)的使用場景。

1）編寫并出版《Hadoop應(yīng)用開發(fā)技術(shù)詳解》圖書，銷售10000+冊——機(jī)械工業(yè)出版社(2014-01)

2）專利《海量數(shù)據(jù)基于記錄級別的容錯(cuò)》

3）在infoQ和CSDN等技術(shù)論壇都有采訪和發(fā)表過文章

4）2015 China hadoop summit 的特約演講嘉賓

專業(yè)技能：

1）能熟練的運(yùn)用Linux系統(tǒng)開發(fā)和shell編程,

2）精通java、熟悉python、R語言

3）熟悉struts、spring、hibernate開發(fā)

4）熟練運(yùn)用mysql、oracle等關(guān)系型數(shù)據(jù)庫，Cassendra、mongoDB、Redis等NoSql數(shù)據(jù)庫

7）熟練運(yùn)用flumeNG、scribe等日志收集工具

8）熟練運(yùn)用ganglia和Nagios、openTSDB對hadoop集群進(jìn)行監(jiān)控

9）熟練運(yùn)用storm、spark 分布式計(jì)算模型，spark Streaming、Mllib和graphx

10）精通MR的編程、Mahout、hbase、Oozie、Kafka、Impala、Tez、hive等應(yīng)用

11）精通hadoop平臺的搭建、優(yōu)化、監(jiān)控和其生態(tài)系統(tǒng)組件的使用。

12）熟悉openstack和docker虛擬化技術(shù)

認(rèn)證：

國考——軟件設(shè)計(jì)師(中級)—2009年

近期案例：

蘭州銀行，大數(shù)據(jù)平臺，架構(gòu)師，2014年

內(nèi)蒙移動(dòng)，大數(shù)據(jù)平臺試點(diǎn)(Hadoop)，架構(gòu)師，2014年

遠(yuǎn)傳電信(臺灣)，Hadoop平臺優(yōu)化解決方案和實(shí)施，架構(gòu)師，2014年

招商銀行大數(shù)據(jù)咨詢項(xiàng)目規(guī)劃和設(shè)施，架構(gòu)師 2015年

交通銀行大數(shù)據(jù)平臺規(guī)劃和設(shè)施，架構(gòu)師 2015年

高德軟件，高德集團(tuán)大數(shù)據(jù)中心的建設(shè)、從15個(gè)Hadoop節(jié)點(diǎn)經(jīng)過5次的擴(kuò)容到300+節(jié)點(diǎn)，機(jī)房換了兩個(gè)，負(fù)責(zé)Hadoop平臺的開發(fā)、優(yōu)化、運(yùn)維和給兄弟部門提供服務(wù)等，Hadoop部門經(jīng)理，2011.03 -2013.01年

阿里巴巴大數(shù)據(jù)高級架構(gòu)師，負(fù)責(zé)OPDS平臺架構(gòu)、開發(fā)和運(yùn)維 2013-2014.04年