數據架構-數據湖與數據集成后端開發

基礎研發平臺是美團的核心技術平臺，立足于“零售+科技”的戰略定位，通過打造人工智能、大數據、云計算、安全等核心技術能力，以及研發效能平臺、企業應用平臺等公共服務，為業務提供穩定安全、擴展易用、技術領先的平臺技術和產品服務。
在這里，我們會參與到最前沿的技術研發和探索；能夠接觸超規模集群、海量數據，挑戰高復雜業務場景，有機會與業界一流的工程師一起并肩前行。
在這里，我們有超強的技術氛圍，持續向社區貢獻業界實踐，加速行業技術發展；我們有完善的互聯網學習生態圈，重視底層邏輯和方法論，助力職業生涯的非線性成長。
真誠地邀請你，和我們一起驅動技術發展，創造行業價值。
崗位職責
1. 構建實時/離線數據采集與同步解決方案，支持跨數據庫、數據倉庫、數據湖的數據交互。優化數據傳輸性能，解決高并發、大數據量場景下的延遲與容錯問題。設計數據一致性保障機制，處理數據沖突、斷點續傳、冪等性等核心問題，確保端到端數據質量。
2. 持續迭代數據集成解決方案的架構設計，支持容災、出海等業務場景；優化架構設計，持續降低成本。
3. 研究前沿技術（如CDC、流批一體架構），推動數據同步技術在業務場景中的創新應用。
4. 構建高性能、高可用性數據湖引擎，參與美團數據湖引擎從0到1的落地與業務推廣工作，持續提升系統性能和穩定性，降低成本。
5. 驅動數據湖的周邊生態建設，包括實時/離線計算引擎，查詢引擎，產品開發平臺等生態，助力業務基于數據湖的解決方案落地。
崗位基本需求
1. 計算機相關專業本科及以上學歷，2年以上數據集成與同步/大數據計算、存儲引擎開發或數據湖相關工作經驗。
2. 熟悉Java/C++編程語言，能夠獨立進行系統和工具開發。
3. 熟悉主流的大數據數據集成引擎和數據湖引擎，如Canal、DataX、Spark、Flink、Paimon等。
4. 熟悉分布式系統和大規模數據處理的設計和實現，具備高并發、高性能系統開發經驗。
5. 具備良好溝通能力和問題解決能力，能夠高效與系統上下游、業務方溝通協作。
具備以下者優先
1. 具備數據集成和同步引擎開發經驗者優先，如SLS、Canal、DataX等 。
2. 具備數據湖開發經驗者優先，如Hudi、Iceberg、Paimon等 。
3. 具備Flink、Spark、Presto等引擎開發經驗者優先 。
4. 具備分布式計算和存儲優化經驗者優先。
崗位亮點
1. 負責美團數據同步解決方案的建設，推進流批一體在數據同步領域的持續優化。
2. 參與美團數據湖引擎從0到1的落地。
3. 能夠接觸到豐富的業務場景，包括但不限于數據開發、機器學習等，助力業務數據集成與數據湖解決方案的落地。
4. 提供良好的職業發展空間，參與解決復雜的技術問題，不斷學習和成長。