 班級規模及環境--熱線:4008699035 手機:15921673576( 微信同號) |
| 每個班級的人數限3到5人，互動授課， 保障效果，小班授課。 |
| 上間和地點 |
上部份地點：【上海】同濟大學(滬西)/新城金郡商務樓(11號線白銀路站)【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院【北京分部】：北京中山學院/福鑫大樓【南京分部】：金港大廈(和燕路)【武漢分部】：佳源大廈（高新二路）【成都分部】：領館區1號（中和大道）【沈陽分部】：沈陽理工大學/六宅臻品【鄭州分部】：鄭州大學/錦華大廈【石家莊分部】：河北科技大學/瑞景大廈
最近開間(周末班/連續班/晚班）：2019年1月26日 |
| 實驗設備 |
◆小班教學，教學效果好
☆注重質量☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
| 質量保障 |
1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
2、培訓結束后,授課老師留給學員聯系方式,保障培訓效果,免費提供課后技術支持。
3、培訓合格學員可享受免費推薦就業機會。☆合格學員免費頒發相關工程師等資格證書，提升職業資質。專注高端技術培訓15年，端海學員的能力得到大家的認同，受到用人單位的廣泛贊譽，端海的證書受到廣泛認可。 |
部份程大綱 |
| |
- 通過培訓您將會：
深刻理解Hadoop原理與調優
深刻理解Hive原理掌握程序開發
深刻理解Hbase 掌握程序開發
深刻理解Hadoop 日常運維管理
Hadoop和傳統數據庫技術優劣勢對比
Hadoop/Hive 對比 Oracle 在構建數據倉庫上的優劣勢
Hadoop 如何和傳統IT系統配合完成原來不可能的任務
Hadoop版本講解及Hadoop新舊版本使用對比
案例及實驗
Apache社區版本：Cloudera 版本、MapR版本、Intel版本、Oracle、Dell、HP版本
Hadoop的來源和動機
傳統大規模系統存在的問題
Hadoop概述
Hadoop分布式文件系統
MapReduce工作原理
Hadoop集群剖析
Hadoop生態系統對一種新的解決方案的需求
Hadoop的行業應用案例分析
Hadoop在云計算和大數據的位置和關系
非結構化數據與半結構化數據在大數據中的應用
案例及實驗
某銀行數據統一處理平臺，通過Hadoop進行系統優化
某電信運營商用戶行為分析系統
某電力行業數據采集大數據分析案例
聯通使用Hadoop/Hbase解決3G詳單查詢問題。
Hadoop生態系統介紹和演示
Hadoop HDFS 和 MapReduce
Hadoop數據庫之HBase
HBase架構及如何應用與編程開發相結合
Hadoop數據倉庫之Hive
Hive架構及如何應用與編程開發相結合
Hadoop數據處理腳本Pig
Pig架構及如何應用與編程開發相結合
Hadoop數據接口Sqoop和Flume
Sqoop和Flume架構及如何應用與編程開發相結合
Hadoop工作流引擎 Oozie
Oozie架構及如何應用與編程開發相結合
Hadoop生態系統各模塊應用與編程開發相結合
案例及實驗
某銀行如何使用Hadoop統一數據平臺
手機上網日志分析
移動GPRS上網日志查詢系統
國家電網城區用電量分析
聯通不良信息檢測系統
電廠海量數據監控分析系統
某銀行數據統一處理平臺
海量指紋比對系統
- Hadoop集群調優
選擇適合hadoop的硬件配置
Hadoop配置項優化
Hadoop配置優化 - core-site.xml
Hadoop配置優化 - hdfs-site.xml
Hadoop配置優化 - mapred-site.xml
Hadoop配置優化 - 機架感知
網絡帶寬參數調優
系統參數調優
配置文件管理
嚴格控制root權限
Java的GC模式
選擇正確的JDK
hadoop作業調優
Map side tuning設置
Map side設置
Linux操作系統優化
其他配置和參數調優
案例及實驗
Hadoop硬件優化
不是所有的硬件都合適拿來直接使用
安裝調優的第一步服務器硬件的選型的竅門
如何選擇適合業務使用的CPU
內存越大越好嗎？設置合理的的內存配置
連接網絡的選擇和優化
高速硬盤的選擇注意事項
硬盤為什么不做raid？
設置網絡的注意事項
中間結果壓縮對磁盤和網絡的優化
機架感知，網絡和磁盤IO優化作用，確定存儲的具體位置，
內存參數，map/reduce槽位數的計算方法。
對磁盤和網絡的優化
Java工具使用，jstack使用
Sun和open之間的區別，JIT編譯器的使用
inux系統參數調優
Linux監控系統的使用
cacti,
ganglia
常用的linux排錯工具lsof,strace,iostat,vmstat,netstat...
常見異常現象級處理方法
網卡流量導致連接失敗
權限錯誤
主機名IP轉換錯誤
NN與DN namespaceID不一致
磁盤滿導致報錯
Jave heap size OOM
Hadoop 2.0
Hadoop 1.0 存在的問題及現有的解決方案
Hadoop 2.0 各廠商版本對比
Apahce and CDH4
Hadoop 2.0 項目結構解析
Hadoop 2.0 環境搭建
Yarn 與MapReduce的不同
Yarn 原理與架構
Apache YARN基本框架
Apache YARN工作流程
Apache YARN設計細節
MapReduce與YARN結合
如何與Yarn來結合
yarn的優化、資源管理、優先級管理。
Hadoop 生態系統解析
Hadoop 小圖檔方案
Hadoop 2.0 HDFS 運維管理
丟失block的情況分析
常見的故障排查
- HDFS高級程序實戰演練
HDFS實戰-命令行等使用
HDFS命令行工具
啟動、停止HDFS服務
如何查看HDFS日志
如何查看HDFS Web控制臺
HDFS參數配置
案例及實驗
HDFS實戰-Java API使用
Eclipse 開發環境介紹
HDFS 開發基本步驟
HDFS Java API詳解
Configuration
Path
FileSystem
Stream、IOUtils
Hadoop HDFS HA方案介紹
Hadoop 1.0 系 HA的一些辦法
Hadoop 2.0 介紹
- MapReduce高級程序實戰演練
使用 Hadoop MapReduce Streaming 編程
MapReduce流程
剖析一個MapReduce程序
基本MapReduceAPI 概念
驅動代碼 Mapper、Reducer
Hadoop流
API 使用Eclipse進行快速開發
新MapReduce API
MapReduce的優化
MapReduce的任務調度
MapReduce編程實戰
滿足解決實際數據分析問題的高級Hadoop API
案例及實驗
Hadoop Streaming 和 Java MapReduce Api 差異。
MapReduce 實現數據庫功能
利用Combiners來減少中間數據
編寫Partitioner來優化負載平衡
直接訪問Hadoop分布式文件系統（HDFS）
Hadoop的join操作
輔助排序在Reducer方的合并
定制Writables和WritableComparables
使用SequenceFiles和Avro文件保存二進制數據
創建InputFormats OutputFormats
Hadoop的二次排序
Hadoop的海量日志分析
在Map方的合并
- Hadoop SQL 接口Hive
Hive基礎
Hive的作用和原理說明
Hadoop倉庫和傳統數據倉庫的協作關系；Hive與傳統數據庫的對接使用
Hadoop/Hive倉庫數據數據流
Hive Cli 的基本用法
HQL基本語法
自行編寫數據庫與Hadoop相互ETL工具的思路
案例及實驗
使用JDBC 連接Hive進行查詢和分析
使用正則表達式加載數據
HQL高級語法
編寫UDF函數
編寫UDAF自定義函數
執行嵌套sql的優化
- Hadoop數據庫之HBase及HBase優化
hbase概念與架構
hbase核心知識點
hbase安裝、部署
HBase配置優化綜述
表設計優化相關參數
監控工具使用方法及注意事項
常見異常現象級處理方法
案例及實驗
hot region造成讀請求瓶頸
region預劃分
Memstore合并設置的時機選擇
合并storefile策略設置技巧
Memstore flush設置時機選擇
Hbase-env.sh、Single、multi-thread、CMS使用及參數調整
GC回收垃圾時機、GC日志打印設置
GC階段，region無法提供服務如何如何處理
Split時機控制（增大、disable）方法
CF數量多少對讀寫性能的影響
自動關閉flush的目的
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業