大數據運維工程師

1、負責大數據集群核心組件的全生命周期運維，包括Ambari部署管理、Hadoop（HDFS/YARN）集群運維、Spark/Flink計算任務支持、Hive/HBase數據存儲管理，以及 Kylin、Doris、ES、Zookeeper、海豚調度器的日常巡檢、故障排查與版本升級，保障集群7×24小時穩(wěn)定運行。
2、參與大數據技術體系的信創(chuàng)適配落地與運維，針對飛騰、海光、鯤鵬芯片服務器，以及麒麟 V10SP2/3 操作系統(tǒng)，解決組件兼容性問題（如 Hadoop與鯤鵬芯片驅動適配、Flink在麒麟系統(tǒng)的依賴庫沖突），沉淀信創(chuàng)環(huán)境運維手冊與故障處理預案。
3、基于 RedHat、CentOS、麒麟 V10SP2/3 操作系統(tǒng)，通過Shell腳本實現運維任務自動化，如集群狀態(tài)批量檢查、日志定期清理、配置跨節(jié)點同步；同時利用Python或Go 語言研發(fā)運維工具，提升運維效率（如歷史故障自動分析工具、組件配置校驗工具）。
4、參與集群容量規(guī)劃、性能調優(yōu)與監(jiān)控告警體系迭代，結合業(yè)務數據增長與計算需求，輸出資源擴容建議；針對慢查詢、任務阻塞等問題，聯(lián)合業(yè)務團隊優(yōu)化SQL語句、調整組件參數。
5、負責運維文檔沉淀，包括集群架構圖、組件部署手冊、故障處理案例、信創(chuàng)適配指南等，配合團隊完成新人帶教與技術分享。
6、完成領導安排的其他工作。