崗位職責:
1、參與大數據基礎平臺的規劃和架構設計,包括但不限于需求分析、架構設計、技術決策以及詳細設計;
2、為現有大數據平臺提供性能調優、架構優化重組,解決系統中的關鍵問題和技術難題;
3、把握基礎業務復雜系統的設計,確保系統的架構質量,編寫核心部分代碼;
4、負責多源異構數據的采集和加工;
5、持續挑戰新的技術方向,攻克大數據量,高穩定性,易用性等各種技術難點;
6、完成公司交辦的其他相關工作。
任職要求:
1、統招本科及以上,5年以上大數據工作經驗,具備架構、數據倉庫設計相關經驗;
2、熟練使用并理解Hadoop架構和生態(Spark、Flink、Hive等);
3、熟練python、java、scala等任意兩種開發語言;
4、熟練使用clickhouse、ElasticSearch;
5、分布式實時計算平臺架構和開發相關經驗優先;
6、有能力進行平臺調優和業務支撐設計;
7、具有團隊合作、良好的溝通技巧和主動挑戰困難能力;
8、有知識產權數據處理經驗優先。
9、有爬蟲經驗優先(反爬、代理、驗證碼等)。