崗位職責：
1、技術架構與規劃
（1）負責企業級ETL體系架構設計和優化，制定ETL開發規范和標準
（2）主導大型數據倉庫項目的技術方案設計和實施路線規劃
（3）基于企業級框架如：PDFC框架，評估和引入新技術、新工具，推動ETL技術棧的升級和演進
2、復雜數據處理
（1）解決超大規模數據（TB級以上）處理的技術挑戰和性能瓶頸
（2）設計和實現復雜業務邏輯的數據轉換和處理流程
（3）處理跨系統、跨平臺的數據集成和同步問題
3、性能優化與監控
（1）建立和完善ETL作業性能監控體系，制定性能優化策略
（2）主導關鍵ETL流程的性能調優，確保數據處理效率
（3）構建數據質量監控框架，保障數據的準確性和一致性
4、團隊與技術領導
（1）指導初、中級工程師解決技術難題，進行代碼review和技術培訓
（2）負責技術難點攻關和系統故障的應急處理
（3）培養團隊技術能力，傳承最佳實踐和經驗
技術要求：
硬技能要求：
（1）5年以上ETL開發經驗，3年以上大型數據倉庫/數據湖/數據中臺的項目架構設計經驗
（2）精通至少兩種主流關系型數據庫（Oracle、MySQL、Postgresql、DB2等）
（3）深入掌握多種ETL工具（DataX、DataStage、Kettle等）的高級特性
（4）具備數據庫高級優化能力，精通執行計劃分析、索引優化、分區技術等
（5）熟練掌握調度工具，如Linux定時調度、海豚調度器、Airflow、Moia等
（5）熟悉或了解數據治理體系，有實際的數據質量管理、元數據管理經驗
（6）掌握基礎Python/Java/Shell開發能力，有進行二次開發和工具定制經驗優先
（7）掌握BI工具的使用，如SmartBI、帆軟、觀遠
架構能力：
（1）具備大型分布式系統架構設計經驗
（2）熟悉傳統數據倉庫與大數據平臺的融合架構
（3）有批次/實時數據管道設計和實施經驗
（4）掌握高可用、容災備份等技術方案
優先條件：
（1）有金融行業尤其是保險行業經驗
（2）持有相關技術認證（OCM、CDMP等）
（3）有技術團隊管理經驗或項目負責人經驗
（4）具備良好的技術文檔編寫和方案宣講能力
（5）大數據組件使用經驗，如Hadoop體系相關組件