崗位職責
1、負責大數據平臺（如Hadoop、Spark、Flink、ClickHouse等）的架構設計、開發和優化。
2、構建高效的數據ETL流程，處理海量數據的清洗、存儲、計算和分析。
3、開發和維護實時/離線數據倉庫，支持業務數據分析和決策。
4、參與數據治理，確保數據質量、安全性和一致性。
5、與數據產品、算法、業務團隊協作，提供數據技術支持。
6、負責數據湖的構建與相關應用。
崗位要求：
1、熟練掌握 Java/Python 至少一種編程語言。
2、熟悉 SQL，能編寫高效查詢（如Hive SQL、Spark SQL、ClickHouse SQL）。
3、了解 Hadoop（HDFS/YARN/MapReduce）、Spark（Spark SQL/Spark Streaming）、Flink 等計算引擎。
4、了解 Hive、HBase、Kafka、ClickHouse、Doris、paimon、statrocks 等存儲和消息隊列技術，有數據湖使用經驗優先。
5、熟悉 數據建模（維度建模、星型/雪花模型）。
6、熟悉 Linux 環境，能進行大數據集群的部署、監控和調優。