目標收益
本次Spark培訓將為大家全面而又深入的介紹Spark、Hadoop平臺的構建流程，涉及Spark、Hadoo系統基礎知識，概念及架構， Spark、Hadoo實戰技巧，Spark、Hadoo經典案例等。
通過本課程實踐，幫助學員對Spark、Hadoo生態系統有一個清晰明了的認識;理解Spark、Hadoo系統適用的場景;掌握Spark、Hadoo等初中級應用開發技能;搭建穩定可靠的Spar、Hadoo k集群，滿足生產環境的標準;了解和清楚大數據應用的幾個行業中的經典案例，包括阿里巴巴，華為等。
培訓對象
各類 IT/軟件企業和研發機構的軟件架構師、軟件設計師、程序員。對于懷有設計疑問和問題，需要梳理解答的團隊和個人，效果最佳。
學員基礎
了解Linux系統及相關語言環境
課程大綱
Spark
生態介紹
? Mapreduce、storm和spark模型的比較和使用場景介紹
? Spark產生背景
? Spark(內存計算框架)
? SparkSteaming(流式計算框架)
? Spark SQL(ad-hoc)
? Mllib(MachineLearning)
? GraphX(bagel將被代)
? DlinkDB介紹
? SparkR介紹
Spark
安裝部署
? Spark安裝簡介
? Spark的源碼編譯
? Spark Standalone安裝
? Spark Standalone HA安裝
? Spark應用程序部署工具spark-submit
? Spark的高可用性部署
Spark
運行架構和解析
? Spark的運行架構
? 基本術語
? 運行架構
? Spark on Standalone運行過程
? Spark on YARN 運行過程
? Spark運行實例解析
? Spark on Standalone實例解析
? Spark on YARN實例解析
Spark
scala編程
? Scala基本語法
? Scala開發環境搭建
? Scala開發Spark應用程序
? 使用java編程
? 使用scala編程
? 使用python編程
Spark
編程模型和解析
? Spark的編程模型
? Spark編程模型解析
? RDD的特點、操作、依賴關系
? Spark應用程序的配置
Spark Streaming原理和實踐
? Spark Streaming與Strom的區別
? Kafka的部署
? Kafka與Spark Streaming的整合
? Spark Streaming原理
? Spark流式處理架構
? DStream的特點
? Dstream的操作和RDD的區別
? Spark Streaming的優化
? Spark Streaming實例
? 文本實例
? 網絡數據處理
? Kafka+Spark Streaming實現日志的實時分析案例
Spark
SQL原理和實踐
? Spark SQL原理
? Spark SQL的Catalyst優化器
? Spark SQL內核
? Spark SQL和Hive
? Spark SQL的實例和編程
? Spark SQL的實例操作demo
? Spark SQL的編程
? DataFrame架構和原理
? DataFrame支持的統計和數學函數介紹
? 從RDD創建DataFrame
? 從Hive表創建DataFrame
? 從數據源創建DataFrame
Spark的數據源
? Spark與HDFS的整合
? HDFS RDD原理和實現
? Spark與Hbase的整合
? Spark與Cassendera整合
? Hbase RDD的分區讀取
? Hbase RDD的原理和實現
? Spark parallelism RDD的工作機制
Spark 數據挖掘
? Mllib的介紹
? graphX核心原理
? table operator和graph operator區別
? vertices、edges和triplets介紹
? 構建一個graph
? SparkR原理
? SparkR實戰
典型項目
案例實戰
? 基于spark日志分析
? 個性化推薦系統：帶你揭開其神秘面紗
? 在線投放引擎
? 揭開淘寶點擊推薦系統的神秘面紗
? 淘寶數據服務架構—實時計算平臺
Spark的優化
? 序列化優化——Kryo
? Spark參數優化實戰
? Spark 任務的均勻分布策略
? Partition key傾斜的解決方案
? Spark任務的監控
? GC的優化
? Spark Streaming吞吐量優化
? Spark RDD使用內存的優化策略
? Spark在使用中的感想分享
合作伙伴與授權機構
總部李老師
