職位概述
具備大數(shù)據(jù)處理經(jīng)驗(yàn)的Java開(kāi)發(fā)工程師,專(zhuān)注于Flink流處理框架的開(kāi)發(fā)和優(yōu)化。
能夠設(shè)計(jì)、實(shí)現(xiàn)和維護(hù)基于Flink的大數(shù)據(jù)處理管道。
同時(shí)熟練掌握Hadoop生態(tài)系統(tǒng)、MySQL數(shù)據(jù)庫(kù)和Elasticsearch技術(shù)棧。
核心技能要求
Flink技術(shù)棧
熟練掌握Flink流處理API(DataSet/DataStream)
能夠?qū)崿F(xiàn)復(fù)雜事件處理(CEP)和窗口操作
具備Flink作業(yè)調(diào)優(yōu)和故障排查經(jīng)驗(yàn)
熟悉Flink與Kafka的集成開(kāi)發(fā)
Java開(kāi)發(fā)能力
JVM調(diào)優(yōu)經(jīng)驗(yàn)優(yōu)先
精通集合框架、多線(xiàn)程編程和IO操作
熟悉設(shè)計(jì)模式在分布式系統(tǒng)中的應(yīng)用
具備良好的代碼規(guī)范和單元測(cè)試習(xí)慣
Hadoop生態(tài)系統(tǒng)
掌握HDFS文件系統(tǒng)操作
熟悉YARN資源管理機(jī)制
數(shù)據(jù)庫(kù)技術(shù)
精通MySQL數(shù)據(jù)庫(kù)設(shè)計(jì)和優(yōu)化
能夠編寫(xiě)復(fù)雜SQL查詢(xún)和存儲(chǔ)過(guò)程
了解分庫(kù)分表策略和讀寫(xiě)分離方案
搜索技術(shù)
熟練使用Elasticsearch進(jìn)行全文檢索
能夠設(shè)計(jì)搜索索引和優(yōu)化查詢(xún)性能
掌握相關(guān)性評(píng)分和排序算法
崗位職責(zé)
負(fù)責(zé)基于Flink的實(shí)時(shí)數(shù)據(jù)處理平臺(tái)開(kāi)發(fā)
設(shè)計(jì)并實(shí)現(xiàn)高吞吐、低延遲的數(shù)據(jù)處理管道
與數(shù)據(jù)倉(cāng)庫(kù)團(tuán)隊(duì)合作構(gòu)建ETL流程
優(yōu)化現(xiàn)有數(shù)據(jù)處理作業(yè)的性能和資源利用率
開(kāi)發(fā)數(shù)據(jù)質(zhì)量監(jiān)控和告警機(jī)制
加分項(xiàng)
有容器化部署(Docker/K8s)經(jīng)驗(yàn)
熟悉CI/CD流水線(xiàn)建設(shè)
具備監(jiān)控系統(tǒng)(Prometheus/Grafana)使用經(jīng)驗(yàn)
有Python開(kāi)發(fā)能力
項(xiàng)目經(jīng)驗(yàn)要求
至少參與過(guò)1個(gè)完整的實(shí)時(shí)流處理項(xiàng)目
具備性能調(diào)優(yōu)和瓶頸定位的實(shí)際案例
有復(fù)雜數(shù)據(jù)處理邏輯的實(shí)現(xiàn)經(jīng)驗(yàn)