Hadoop大數(shù)據(jù)平臺(tái)開(kāi)發(fā)與案例分析其它上課時(shí)間：

業(yè)務(wù)支撐建設(shè)維護(hù)室、業(yè)務(wù)維護(hù)室、經(jīng)營(yíng)分析室人員；網(wǎng)絡(luò)部、網(wǎng)管中心、網(wǎng)優(yōu)中心從事大數(shù)據(jù)相關(guān)工作的人員

課程介紹

1.需求理解
Hadoop 設(shè)計(jì)之初的目標(biāo)就定位于高可靠性、高可拓展性、高容錯(cuò)性和高效性，正是這些設(shè)計(jì)上與生俱來(lái)的優(yōu)點(diǎn)，才使得Hadoop 一出現(xiàn)就受到眾多大公司的青睞，同時(shí)也引起了研究界的普遍關(guān)注。
對(duì)電信運(yùn)營(yíng)商而言,用戶(hù)上網(wǎng)日志包含了大量用戶(hù)個(gè)性化需求、喜好信息,對(duì)其進(jìn)行分析和挖掘,能更好地了解客戶(hù)需求。傳統(tǒng)經(jīng)營(yíng)分析系統(tǒng)小型機(jī)加關(guān)系型數(shù)據(jù)庫(kù)的架構(gòu)無(wú)法滿(mǎn)足對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的處理需求,搭建基于X86的Hadoop 平臺(tái),引入大數(shù)據(jù)處理技術(shù)的方式,實(shí)現(xiàn)高效率、低成本、易擴(kuò)展的經(jīng)營(yíng)分析系統(tǒng)混搭架構(gòu)成為電信運(yùn)營(yíng)商最為傾向的選擇。本課程將全面介紹Hadoop平臺(tái)開(kāi)發(fā)和運(yùn)維的各項(xiàng)技術(shù)，對(duì)學(xué)員使用該項(xiàng)技術(shù)具有很高的應(yīng)用價(jià)值。
2.培訓(xùn)課程架構(gòu)與設(shè)計(jì)思路
（1）培訓(xùn)架構(gòu)：
本課程分為三個(gè)主要部分：
第一部分：重點(diǎn)講述大數(shù)據(jù)技術(shù)在的應(yīng)用，使學(xué)員對(duì)大數(shù)據(jù)技術(shù)的廣泛應(yīng)用有清晰的認(rèn)識(shí)，在這環(huán)節(jié)當(dāng)中會(huì)重點(diǎn)介紹Hadoop技術(shù)在整個(gè)大數(shù)據(jù)技術(shù)應(yīng)用中的重要地位和應(yīng)用情況。
第二部分：具體對(duì)hadoop技術(shù)進(jìn)行模塊化分拆，從大數(shù)據(jù)文件存儲(chǔ)系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺(tái)及其應(yīng)用談起，介紹Hadoop技術(shù)各主要應(yīng)用工具和方法，以及在運(yùn)維維護(hù)當(dāng)中的主流做法，使學(xué)員全面了解和掌握Hadoop技術(shù)的精華。
第三部分：重點(diǎn)剖析大數(shù)據(jù)的應(yīng)用案例，使學(xué)員在案例當(dāng)中對(duì)該項(xiàng)技術(shù)有更深入的感觀(guān)印象
（2）設(shè)計(jì)思路：
本課程采用模塊化教學(xué)方法，以案例分析為主線(xiàn)，由淺入深、循序漸進(jìn)、由理論到實(shí)踐操作進(jìn)行設(shè)計(jì)。
（3）與企業(yè)的貼合點(diǎn)：
本課程結(jié)合企業(yè)轉(zhuǎn)型發(fā)展及大數(shù)據(jù)發(fā)展戰(zhàn)略，圍繞企業(yè)大數(shù)據(jù)業(yè)務(wù)及行業(yè)應(yīng)用市場(chǎng)拓展發(fā)展目標(biāo)，重點(diǎn)講授Hadoop的應(yīng)用技術(shù)，提升企業(yè)IT技術(shù)人員的開(kāi)發(fā)和運(yùn)維能力，有很強(qiáng)的貼合度。

培訓(xùn)目標(biāo)

掌握大數(shù)據(jù)處理平臺(tái)（Hadoop、Spark、Storm）技術(shù)架構(gòu)、以及平臺(tái)的安裝部署、運(yùn)維配置、應(yīng)用開(kāi)發(fā)；掌握主流大數(shù)據(jù)Hadoop平臺(tái)和Spark實(shí)時(shí)處理平臺(tái)的技術(shù)架構(gòu)和實(shí)際應(yīng)用；利用Hadoop+Spark對(duì)行業(yè)大數(shù)據(jù)進(jìn)行存儲(chǔ)管理和分析挖掘的技術(shù)應(yīng)用；講解Hadoop生態(tài)系統(tǒng)組件，包括Storm，HDFS，MapReduce，HIVE，HBase，Spark，GraphX，MLib，Shark， ElasticSearch等大數(shù)據(jù)存儲(chǔ)管理、分布式數(shù)據(jù)庫(kù)、大型數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)查詢(xún)與搜索、大數(shù)據(jù)分析挖掘與分布式處理技術(shù)

培訓(xùn)大綱

第一部分：移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算相關(guān)技術(shù)介紹
第二部分：大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向
第三部分：大數(shù)據(jù)文件存儲(chǔ)系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺(tái)及其應(yīng)用
第四部分：Hadoop文件系統(tǒng)HDFS最佳實(shí)戰(zhàn)
第五部分：Hadoop運(yùn)維管理與性能調(diào)優(yōu)
第六部分：NOSQL數(shù)據(jù)庫(kù)Hbase與Redis
第七部分：類(lèi)SQL語(yǔ)句工具——Hive
第八部分：數(shù)據(jù)挖掘SPARK建�；�礎(chǔ)介紹
第九部分：Kafka基礎(chǔ)介紹
第十部分：大數(shù)據(jù)典型應(yīng)用與開(kāi)發(fā)案例分析：互聯(lián)網(wǎng)數(shù)據(jù)運(yùn)營(yíng)
第十一部分：當(dāng)前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析-以國(guó)內(nèi)外運(yùn)營(yíng)商、互聯(lián)網(wǎng)公司為例
第十二部分：課程總結(jié)與問(wèn)題答疑
評(píng)估培訓(xùn)

詳細(xì)培訓(xùn)內(nèi)容介紹

模塊一 移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算相關(guān)技術(shù)介紹
1、數(shù)據(jù)中心與云計(jì)算技術(shù)應(yīng)用
2、智慧城市與云計(jì)算技術(shù)應(yīng)用
3、移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)與云計(jì)算關(guān)聯(lián)技術(shù)
4、移動(dòng)云計(jì)算的生態(tài)系統(tǒng)及產(chǎn)業(yè)鏈
5、大數(shù)據(jù)技術(shù)在運(yùn)營(yíng)商、金融業(yè)、銀行業(yè)、電子商務(wù)行業(yè)、零售業(yè)、制造業(yè)、政務(wù)信息化、互聯(lián)網(wǎng)、教育信息化等行業(yè)中的應(yīng)用實(shí)踐
6、國(guó)內(nèi)外主流的大數(shù)據(jù)解決方案介紹
7、當(dāng)前大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫(kù)方案的剖析比較
8、Cloudera Hadoop 大數(shù)據(jù)平臺(tái)方案剖析
開(kāi)源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺(tái)剖析
模塊二 大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向
1、大數(shù)據(jù)時(shí)代的挑戰(zhàn)
戰(zhàn)略決策能力
技術(shù)開(kāi)發(fā)和數(shù)據(jù)處理能力
組織和運(yùn)營(yíng)能力
2、大數(shù)據(jù)時(shí)代的發(fā)展方向
云計(jì)算是基礎(chǔ)設(shè)施架構(gòu)
大數(shù)據(jù)是靈魂資產(chǎn)
分析、挖掘是手段
發(fā)現(xiàn)和預(yù)測(cè)是最終目標(biāo)
3、大數(shù)據(jù)挖掘在各行業(yè)應(yīng)用情況
電信行業(yè)應(yīng)用及案例分析
互聯(lián)網(wǎng)行業(yè)應(yīng)用及案例分析
金融行業(yè)應(yīng)用及案例研究
銷(xiāo)售行業(yè)應(yīng)用案例分析
模塊三 大數(shù)據(jù)文件存儲(chǔ)系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺(tái)及其應(yīng)用
1、Hadoop的發(fā)展歷程
Hadoop大數(shù)據(jù)平臺(tái)架構(gòu)
基于Hadoop平臺(tái)的PB級(jí)大數(shù)據(jù)存儲(chǔ)管理與分析處理的工作原理與機(jī)制
Hadoop 的核心組件剖析
2、分布式文件系統(tǒng)HDFS
概述、功能、作用、優(yōu)勢(shì)
應(yīng)用范疇、應(yīng)用現(xiàn)狀
發(fā)展趨勢(shì)
3、分布式文件系統(tǒng)HDFS架構(gòu)及原理
核心關(guān)鍵技術(shù)
設(shè)計(jì)精髓
基本工作原理
系統(tǒng)架構(gòu)
文件存儲(chǔ)模式
工作機(jī)制
存儲(chǔ)擴(kuò)容與吞吐性能擴(kuò)展
4、分布式文件系統(tǒng)HDFS操作
SHELL命令操作
I/O流式操作
文件數(shù)據(jù)讀取、寫(xiě)入、追加、刪除
文件狀態(tài)查詢(xún)
數(shù)據(jù)塊分布機(jī)制
數(shù)據(jù)同步與一致性
元數(shù)據(jù)管理技術(shù)
主節(jié)點(diǎn)與從節(jié)點(diǎn)工作機(jī)制
大數(shù)據(jù)負(fù)載均衡技術(shù)
HDFS大數(shù)據(jù)存儲(chǔ)集群管理技術(shù)
5、Hadoop生態(tài)系統(tǒng)組件
Storm
HDFS
MapReduce
HIVE
HBase
Spark
GraphX
MLib
Shark
模塊四 Hadoop文件系統(tǒng)HDFS最佳實(shí)戰(zhàn)
1、HDFS的設(shè)計(jì)
2、HDFS的概念
數(shù)據(jù)塊
namenode和datanode
聯(lián)邦HDFS
HDFS的高可用性
3、命令行接口
4、Hadoop文件系統(tǒng)
5、Java接口
從Hadoop URL讀取數(shù)據(jù)
通過(guò)FileSystem API讀取數(shù)據(jù)
寫(xiě)入數(shù)據(jù)
目錄
查詢(xún)文件系統(tǒng)
刪除數(shù)據(jù)
6、數(shù)據(jù)流
剖析文件讀取
剖析文件寫(xiě)入
一致模型
7、通過(guò)Flume和Sqoop導(dǎo)入數(shù)據(jù)
8、通過(guò)distcp并行復(fù)制
9、Hadoop存檔
使用Hadoop存檔工具
不足
模塊五 Hadoop運(yùn)維管理與性能調(diào)優(yōu)
1、第二代大數(shù)據(jù)處理框架
Yarn的工作原理及
DAG并行執(zhí)行機(jī)制
Yarn大數(shù)據(jù)分析處理案例分析
Yarn 框架并行應(yīng)用程序?qū)嵺`
2、集群配置管理
Hadoop集群配置
Hadoop性能調(diào)優(yōu)與參數(shù)配置
Hadoop機(jī)架感知策略與配置
Hadoop壓縮機(jī)制
Hadoop任務(wù)負(fù)載均衡
Hadoop 集群維護(hù)
Hadoop監(jiān)控管理
3、HDFS的靜態(tài)調(diào)優(yōu)技巧
HDFS 的高吞吐量I/O性能調(diào)優(yōu)技巧
MapReduce/Yarn的并行處理性能調(diào)優(yōu)技巧
Hadoop集群的運(yùn)行故障剖析，以及解決方案
基于Hadoop大數(shù)據(jù)應(yīng)用程序的性能瓶頸剖析與提
Hadoop 大數(shù)據(jù)運(yùn)維監(jiān)控管理系統(tǒng) HUE 平臺(tái)的安裝部署與應(yīng)用配置
Hadoop運(yùn)維管理監(jiān)控系統(tǒng)Ambari平臺(tái)的安裝部配置
Hadoop 集群運(yùn)維系統(tǒng) Ganglia, Nagios的安裝部署與應(yīng)用配置
模塊六 NOSQL數(shù)據(jù)庫(kù)Hbase與Redis
1、NOSQL基礎(chǔ)
CAP理論
Base與ACID
NOSQL數(shù)據(jù)庫(kù)存儲(chǔ)類(lèi)型
鍵值存儲(chǔ)
列存儲(chǔ)
文檔存儲(chǔ)
圖形存儲(chǔ)
2、HBase分布式數(shù)據(jù)基礎(chǔ)
3、安裝Hbase
4、Hbase應(yīng)用
HBase的邏輯數(shù)據(jù)模型，HBase的表、行、列族、列、單元格、版本、row key排序
HBase的物理模型，命名空間（表空間）、表模式（Schema）的設(shè)計(jì)法則
HBase 主節(jié)點(diǎn)HMaster的工作原理，HMaster的高可用配置，以及性能調(diào)優(yōu)
HBase 從節(jié)點(diǎn)RegionServer（分區(qū)服務(wù)節(jié)點(diǎn)）的工作原理，表分區(qū)及存儲(chǔ)I/O高并發(fā)配置，以及性能調(diào)優(yōu)
HBase的存儲(chǔ)引擎工作原理，以及HBase表數(shù)據(jù)的鍵值存儲(chǔ)結(jié)構(gòu)，以及HFile存儲(chǔ)結(jié)構(gòu)剖析
HBase表設(shè)計(jì)與數(shù)據(jù)操作以及數(shù)據(jù)庫(kù)管理操作
HBase集群的安裝部署、參數(shù)配置和性能優(yōu)化
5、HBase分布式數(shù)據(jù)庫(kù)簡(jiǎn)介、發(fā)展歷程、應(yīng)用場(chǎng)景、工作原理、以及應(yīng)用優(yōu)勢(shì)與不足之處
HBase分布式數(shù)據(jù)庫(kù)集群的主從式平臺(tái)架構(gòu)和關(guān)鍵技術(shù)剖析
HBase偽分布式和物理集群分布式的控制與運(yùn)行配置
HBase從節(jié)點(diǎn)RegionServer（分區(qū)服務(wù)節(jié)點(diǎn)）的工作原理，表分區(qū)及存儲(chǔ)I/O高并發(fā)配置，以及性能調(diào)優(yōu)
HBase的存儲(chǔ)引擎工作原理，以及HBase表數(shù)據(jù)的鍵值存儲(chǔ)結(jié)構(gòu)，以及HFile存儲(chǔ)結(jié)構(gòu)剖析
HBase表設(shè)計(jì)與數(shù)據(jù)操作以及數(shù)據(jù)庫(kù)管理操作
HBase集群的安裝部署、參數(shù)配置和性能優(yōu)化
ZooKeeper分布式協(xié)調(diào)服務(wù)系統(tǒng)的工作原理、平臺(tái)架構(gòu)、集群部署應(yīng)用實(shí)戰(zhàn)
ZooKeeper集群的原理架構(gòu)，以及應(yīng)用配置
6、Redis內(nèi)存數(shù)據(jù)庫(kù)介紹，以及業(yè)界應(yīng)用案例
Redis內(nèi)存數(shù)據(jù)庫(kù)集群架構(gòu)以及核心技術(shù)剖析
Redis 集群的安裝部署與應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)
模塊七 類(lèi)SQL語(yǔ)句工具——Hive
1、安裝Hive
2、示例
3、運(yùn)行Hive
配置Hive
Hive服務(wù)
Metastore
4、Hive與傳統(tǒng)數(shù)據(jù)庫(kù)相比
讀時(shí)模式vs.寫(xiě)時(shí)模式
更新、事務(wù)和索引
5、HiveQL
數(shù)據(jù)類(lèi)型
操作與函數(shù)
6、表
托管表和外部表
分區(qū)和桶
存儲(chǔ)格式
導(dǎo)入數(shù)據(jù)
表的修改
表的丟棄
7、查詢(xún)數(shù)據(jù)
排序和聚集
MapReduce腳本
連接
子查詢(xún)
視圖
8、用戶(hù)定義函數(shù)
寫(xiě)UDF
寫(xiě)UDAF
模塊八 數(shù)據(jù)挖掘SPARK建模基礎(chǔ)介紹
1、Spark簡(jiǎn)介
Spark是什么
Spark生態(tài)系統(tǒng)BDAS
2、Spark架構(gòu) 
Spark分布式架構(gòu)與單機(jī)多核架構(gòu)的異同 
3、Spark集群的安裝與部署 
Spark的安裝與部署 
Spark集群初試
4、Spark硬件配置 
Spark硬件
Spark硬件配置流程
模塊九 Kafka基礎(chǔ)介紹
1、Kafka介紹
2、kafka體系結(jié)構(gòu)
3、kafka設(shè)計(jì)理念簡(jiǎn)介
4、kafka通信協(xié)議
5、kafka的偽分布安裝、集群安裝
6、kafka的shell操作、java操作
7、kafka設(shè)計(jì)理念*
8、kafka producer和consumer開(kāi)發(fā)
9、Kafka分布式消息訂閱系統(tǒng)的應(yīng)用介紹、平臺(tái)架構(gòu)、集群部署與配置應(yīng)用實(shí)戰(zhàn)
10、Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型、平臺(tái)架構(gòu)、集群部署與配置應(yīng)用實(shí)戰(zhàn)
11、Hadoop與DBMS之間數(shù)據(jù)交互工具Sqoop的應(yīng)用實(shí)踐，
12、Sqoop導(dǎo)入導(dǎo)出數(shù)據(jù)以及Sqoop集群部署與配置
13、Kettle 集群的平臺(tái)架構(gòu)、核心技術(shù)、部署配置和應(yīng)用實(shí)戰(zhàn)
14、利用Sqoop實(shí)現(xiàn) MySQL 與 Hadoop 集群之間
模塊十 大數(shù)據(jù)典型應(yīng)用與開(kāi)發(fā)案例分析：互聯(lián)網(wǎng)數(shù)據(jù)運(yùn)營(yíng)
1、案例1：貴州數(shù)據(jù)交易中心
交易所交易形式：電子交易
交易所服務(wù)：大數(shù)據(jù)交易、大數(shù)據(jù)清洗建模分析、大數(shù)據(jù)定向采購(gòu)、大數(shù)據(jù)平臺(tái)技術(shù)開(kāi)發(fā)
大數(shù)據(jù)交易安全性探討分析
數(shù)據(jù)交易中心商業(yè)模式探討分析
2、案例2：大數(shù)據(jù)應(yīng)用案例：公共交通線(xiàn)路的智能規(guī)劃
UrbanInsights：為公交公司提供基于訂閱訪(fǎng)問(wèn)的大數(shù)據(jù)工具以及大數(shù)據(jù)咨詢(xún)服務(wù)
Urban Insights數(shù)據(jù)源、數(shù)據(jù)收集、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)分析——設(shè)計(jì)運(yùn)營(yíng)線(xiàn)路
Urban Insights通過(guò)互聯(lián)網(wǎng)數(shù)據(jù)的運(yùn)營(yíng)
3、討論：浙江移動(dòng)大數(shù)據(jù)應(yīng)用與開(kāi)發(fā)方向
模塊十一 當(dāng)前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析-以國(guó)內(nèi)外運(yùn)營(yíng)商、互聯(lián)網(wǎng)公司為例
1、流商業(yè)大數(shù)據(jù)解決方案比較 
2、主流開(kāi)源云計(jì)算系統(tǒng)比較  
3、國(guó)內(nèi)外代表性大數(shù)據(jù)平臺(tái)比較  
4、各廠(chǎng)商最新的大數(shù)據(jù)產(chǎn)品介紹
5、案例分析
Facebook的SNS平臺(tái)應(yīng)用
Google的搜索引擎應(yīng)用
Rackspace的日志處理
Verizon成立精準(zhǔn)市場(chǎng)營(yíng)銷(xiāo)部
TelefonicaDynamicInsights推出的名為“智慧足跡”的商業(yè)服務(wù)
中國(guó)聯(lián)通的“移動(dòng)通信用戶(hù)上網(wǎng)記錄集中查詢(xún)與分析支撐系統(tǒng)” 
模塊十二課程總結(jié)與問(wèn)題答疑

師資介紹

張老師：阿里大數(shù)據(jù)高級(jí)專(zhuān)家，國(guó)內(nèi)資深的Spark、Hadoop技術(shù)專(zhuān)家、虛擬化專(zhuān)家，對(duì)HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進(jìn)行了多年的深入的研究，更主要的是這些技術(shù)在大量的實(shí)際項(xiàng)目中得到廣泛的應(yīng)用，因此在Hadoop開(kāi)發(fā)和運(yùn)維方面積累了豐富的項(xiàng)目實(shí)施經(jīng)驗(yàn)。近年主要典型的項(xiàng)目有：某電信集團(tuán)網(wǎng)絡(luò)優(yōu)化、中國(guó)移動(dòng)某省移動(dòng)公司請(qǐng)賬單系統(tǒng)和某省移動(dòng)詳單實(shí)時(shí)查詢(xún)系統(tǒng)、中國(guó)銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺(tái)、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運(yùn)營(yíng)商全國(guó)用戶(hù)上網(wǎng)記錄、某省交通部門(mén)違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項(xiàng)目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺(tái)項(xiàng)目等。