大數據工程師

　　大數據工程師可以從事對大量數據的采集、清洗、分析、治理、挖掘，并對這些數據加以利用、管理、維護和服務的相關技術工作。

　　2020年05月15日，國家郵電通信人才交流中心印發了《關于開展大數據工程師專業技術等級考試的通知》（郵電人才【2020】15號），這標志著我國大數據工程師專業技術等級考試制度的建立，該文件明確將推動提高大數據專業技術人員理論與技能水平。

　　大數據開發工程師是做什么的？崗位要求高嗎？大數據開發工程師要負責數據倉庫建設、ETL開發、數據分析、數據指標統計、大數據實時計算平臺及業務開發、平臺建設及維護等工作內容。熟練掌握數據倉庫、hadoop生態體系、計算及二次開發、大數據平臺工具的開發：開發平臺、調度系統、元數據平臺等工具，該崗位對于技術要求較高。

　　大數據開發工程師的崗位要求有哪些：

　　1、本科以上學歷，計算機相關專業，對數據處理、數據建模、數據分析等有深刻認識和實戰經驗

　　2、熟悉HiveSQL語言，熟悉shell, python等腳本語言

　　3、有hadoop、spark、flink等大數據平臺的使用經驗

　　4、有數據倉庫建設、商業數據分析、增長項目經驗

　　5、java/scala至少熟練使用一種

　　6、熟練掌握Hadoop及Map-Reduce應用開發，熟練掌握HBase、Hive、Storm、spark等大數據開發工具

　　7、熟悉至少一種實時計算引擎 Storm,SparkStreaming, Flink, 對hadoop生態其他組件有一定了解，比如 HBase， hadoop, Hive, Druid等

　　熟悉Hadoop/Spark/Hive/HBase等大數據工具，主導過大型數據平臺建設者優先；

　　9、精通SQL，熟悉常用的關系型數據庫、非關系性數據庫和數據倉庫，具有SQL性能優化經驗；

　　9、了解微服務開發理念、實現技術，熟悉常見設計模式，熟練掌握SSH開發框架，熟練進行Java、Python代碼編寫，熟悉多線程編程

　　10、有Hadoop/Hive/Spark/Storm/Zookeeper 等相關開發經驗或從事分布式相關系統的開發工作

　　11、熟悉Linux/Unix系統和豐富的Java開發經驗

　　12、3年以上企業級數據倉庫開發經驗，有大規模集群應用開發經驗優先

　　13、熟悉數據倉庫理論，具備復雜業務需求梳理能力

　　14、熟練SQL開發，精通Mysql等關系型數據庫

　　15、熟悉Linux系統，具備shell、python等腳本開發能力者優先

　　16、學習能力強，喜歡研究開源新技術，有團隊觀念，具備獨立解決問題的能力，具備扎實的計算機理論基礎, 對數據結構及算法有較強的功底