【崗位職責(zé)】:
1.參與企業(yè)級大數(shù)據(jù)平臺的設(shè)計(jì)、開發(fā)與持續(xù)迭代,支撐數(shù)據(jù)采集、存儲、計(jì)算與服務(wù)化能力建設(shè);
2.基于 Hadoop/Spark/Flink 等生態(tài)組件,開發(fā)和優(yōu)化離線及實(shí)時(shí)數(shù)據(jù)處理任務(wù);
3.參與數(shù)據(jù)平臺基礎(chǔ)組件(數(shù)據(jù)接入、任務(wù)調(diào)度、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等)的開發(fā)與工程化落地;
4.配合數(shù)據(jù)分析、算法及業(yè)務(wù)團(tuán)隊(duì),提升數(shù)據(jù)鏈路的穩(wěn)定性、性能與可擴(kuò)展性;
5.持續(xù)優(yōu)化數(shù)據(jù)處理效率,推動平臺自動化、標(biāo)準(zhǔn)化和規(guī)范化建設(shè);
任職要求
1.本科及以上學(xué)歷,計(jì)算機(jī)、軟件工程、信息技術(shù)等相關(guān)專業(yè);
2.1–2年大數(shù)據(jù)或后臺開發(fā)相關(guān)工作經(jīng)驗(yàn),有數(shù)據(jù)平臺或數(shù)據(jù)倉庫實(shí)踐經(jīng)驗(yàn)者優(yōu)先;
3.扎實(shí)的Java/Python至少一門語言基礎(chǔ),具備良好的編碼規(guī)范與工程意識;
4.熟悉Hadoop、Hive、Spark、Flink、Sqoop、Flume等主流大數(shù)據(jù)組件中的一項(xiàng)或多項(xiàng);
5.熟悉Kafka高吞吐消息系統(tǒng),掌握分區(qū)策略、副本機(jī)制及消費(fèi)組管理,熟悉HBase海量數(shù)據(jù)存儲與RowKey優(yōu)化設(shè)計(jì);
6.熟悉Spark MLlib、Flink ML、Alink等大數(shù)據(jù)AI框架,實(shí)現(xiàn)海量數(shù)據(jù)上的模型訓(xùn)練與實(shí)時(shí)預(yù)測;
7.對數(shù)據(jù)平臺建設(shè)有清晰認(rèn)知,具備良好的學(xué)習(xí)能力和問題拆解能力