如果你是剛轉行大數據不久的Java、PHP等程序員或入行新人，這套學習寶典能幫你迅速擺脫工作困擾，鞏固掌握優秀工程師的必會技能：

缺乏工作經驗，想短時期內獲得一份大數據開發相關工作；

接觸不到核心技術，不懂底層源碼，不會搭建系統架構，提升太難；

業務邏輯欠缺，想豐富實戰經驗，進大廠沖擊高薪。

一、高薪大數據工程師必備——實戰項目經驗

本部分選取當下應用最廣的企業項目，基于大廠脫敏數據，以 Spark 為主要核心框架，覆蓋 Kafka、Hbase 及 Hadoop等大數據生態技術，幫你360 度探索大數據在出行領域的技術落地，了解大數據架構的設計奧秘，增加簡歷含金量。

01

大數據背景下的智慧出行

通過學習，可幫你了解大數據背景下的出行業務，熟知大數據技術點的使用以及出行方面的業務邏輯。

（項目可視化展示）

1、智慧出行項目概況及車輛軌跡數據處理

技術關鍵詞：

Flume、Kafka、SparkStreaming、Hbase、Redis、SpringBoot 等

主要內容：

智慧出行大數據項目概述；

項目需求及架構選型；

開發項目模塊構建；

數據回放功能的實現；

軌跡監控模塊的開發。

斬獲技能：

掌握 SparkStreaming 消費 Kafka 自主維護 Offset 的方式。

2、看大數據如何幫你抉擇最合適的上車地點

技術關鍵詞：

SparkCore 、SparkSQL、Hbase 、Phoenix 、SpringBoot

主要內容：

虛擬車站的概念詳情；

虛擬車站的計算方式；

使用代碼實現虛擬車站的計算統計。

斬獲技能：

熟知常見的地圖屬性；

掌握虛擬車站的計算方式；

掌握API的使用等。

3、智慧出行項目展示及應用 + 大數據技術答疑

技術關鍵詞：

Maxwell、Mysql、SparkStreaming、 Kafka、SparkSQL等

主要內容：

智慧出行的其他功能模塊開發；

Spark任務的監控以及任務的調優；

業務數據庫實時同步功能實現。

斬獲技能：

有一定的架構認知能力；

掌握常見的大數據技術架構；

能熟練駕馭使用其他大數據框架等。

01

二、優秀大數據工程師必會——扎實技能儲備

本部分對 Spark、Hadoop 等主流框架做了專項講解，可幫大家查漏補缺，鞏固各技術點，這些都是高薪工程師必知必會技能，對你日后進階提升或是進大廠都會有不少幫助。

02

1、基于 Spark 源碼自定義數據源開發

如何解決 HBase 熱點問題

如何基于源碼自定義開發 HBase 的數據源

如何在數據源處進行列剪枝和謂詞下推

2、Hadoop 分布式文件系統之 HDFS 架構

HDFS 是如何實現有狀態的高可用架構

HDFS 是如何從架構上解決內存受限問題

深入理解 HDFS 的架構演變

揭秘 HDFS 如何能支撐億級流量

3、實時計算技術之 SparkStreaming

Spark Streaming 應用場景、原理分析

Spark Streaming 集成 Kafka 講解

Spark Streaming 如何實現 Exactly-Once 語義