崗位職責：
1、負責制定數據處理和業務個性化規范。
2、負責數據采集與清洗，從各種數據源收集數據，并進行清洗和預處理，以確保數據的質量和可用性，使用數據采集工具和清洗工具進行數據的提取、去重、修正錯誤。
3、負責數據倉庫搭建與管理，設計和實施數據倉庫，制定ETL（提取、轉換、加載）相關的設計方案和開發計劃。評估數據源的格式、訪問方式和數據質量，并制定相應的數據抽取策略，確保數據在傳輸過程中保持一致性和完整性，并通過合理的設計優化數據存儲和訪問性能。
4、數據管道設計與維護構建和維護數據管道，確保數據能夠高效地從源頭傳輸到目標存儲系統。設計和實施數據管道的各個環節，如提取、轉換和加載數據，并解決數據管道中的復雜性和可擴展性問題。使用自動化工具和持續監控來優化數據流和處理流程，確保數據的實時性和準確性。
5、負責針對的業務數據抽取和DW、DM建模，負責ETL鏈路的開發與數據處理。
6、負責數據倉庫數據標準、元數據管理的規劃設計。
7、理解業務需求，負責數據采集、清洗、存儲程序以及實時數據計算的開發以及相應優化工作。
8、參與需求分析、并完成需求設計相應文檔的編寫。
9、優化數據查詢算法及數據庫性能調優。
任職要求：
1、研究生學歷，計算機相關專業。優秀人才可破格錄用。
2、五年以上相關大數據開發工作經驗，參與過大型數據處理項目，熟悉從數據收集、清洗、轉換到存儲和分析的整個流程。
3、精通SQL開發， MySQL、PostgreSQL、Oracle等關系型數據庫，靈活運用SQL實現海量數據ETL加工處理；能夠直接利用NoSQL ,GIS處理數據。
4、熟練掌握一門或多門編程語言，并有大型項目建設經驗者優先，重點考察Java、Python。
5、精通數據倉庫領域知識和技能者優先，包括但不局限于：元數據管理、數據開發測試工具與方法、數據質量、主數據管理。
6、精通Hadoop、Kafka、Hive、Spark、Flink等大數據生態組件，熟悉其運行機制和體系結構。
7、有豐富數據清洗、指標開發經驗，熟悉數據倉庫模型設計與ETL開發經驗，掌握維度建模設計方法，具備海量數據處理經驗；具備數據倉庫模型設計與ETL開發經驗，掌握維度建模設計方法。
6、熟悉Linux系統處理命令，能夠靈活運用shell做的文本處理和系統操作的優先。
7、具備大數據分析處理、機器學習建模分析的優先。
8、熟悉數據可視化工具，如Tableau、Power BI等，能夠將復雜數據轉化為直觀的圖表和報告。
9、邏輯思維能力強，對數據關系敏感，有較強的學習能力和創新思維。有良好的責任感，具備較強的問題分析和團隊溝通協作能力。