大數據開發工程師

崗位職責：
1、設計并搭建公司數據倉庫、數據湖、實時數據處理系統等架構。依據業務與數據特點，選合適存儲方案與技術，確保數據高效存儲、管理與訪問，并持續優化架構，應對數據量增長與業務變化，保障系統穩定、可擴展。
2、制定數據采集策略，從數據庫、文件系統等多源收集數據。用 ETL 工具清洗、轉換、集成數據，構建自動化處理流水線，定時更新數據，為分析、挖掘和應用提供高質量數據。
3、依業務與分析目標，設計數據倉庫（如星型、雪花模型）及機器學習、數據挖掘的特征模型。用 SQL、Java等實現數據查詢、統計分析及算法邏輯，支持數據探索、報表生成、模型訓練。
4、建立數據質量監控體系，設指標與評估標準。通過工具實時監測，及時處理數據缺失、重復等問題。與數據產生部門及業務團隊合作，優化采集流程與業務規范，提升數據質量。
5、制定并執行數據訪問權限策略，遵循法規標準，保障數據合法使用與合規存儲。對敏感數據加密、脫敏，防范泄露風險。
任職要求：
1、計算機、軟件工程、數學、統計學、數據科學等相關專業，本科及以上學歷。
2、熟練掌握一種 ETL 工具（如 Informatica、Talend、Kettle），能獨立完成數據抽取、轉換、加載。精通 SQL，具備復雜查詢編寫與數據庫性能優化能力，熟悉主流關系型數據庫（如 Oracle、MySQL、SQL Server）。掌握 Java 等數據處理語言，可進行數據清洗、分析與算法實現。
3、了解數據倉庫、數據湖架構原理，熟悉數據建模方法，能設計合理數據模型。掌握分布式存儲技術（如 Hadoop、Spark、Hive、HBase），可搭建維護分布式數據存儲與處理環境，具備數據架構設計與優化能力。
4、熟悉數據質量監控管理方法，能診斷解決數據質量問題。了解數據安全與合規知識，掌握數據加密、脫敏、訪問控制技術，保障數據安全合規。
5、具備 Linux 操作能力，可在 Linux 環境下進行數據處理與系統運維。熟悉常用數據分析與可視化工具。
6、學習與創新能力強，能快速掌握新技術、工具。具備良好問題解決與邏輯思維能力，可獨立解決復雜數據處理問題。有優秀團隊協作與溝通能力，能與不同部門高效協作。
7、有 3年以上數據開發經驗，有完整數據倉庫或大數據項目經驗優先，有大規模、實時數據處理經驗更佳。