1、專注于構(gòu)建數(shù)據(jù)管道與ETL(抽取-轉(zhuǎn)換-加載)流程,典型產(chǎn)出為可穩(wěn)定運行的數(shù)據(jù)處理任務(wù)及數(shù)據(jù)倉庫表結(jié)構(gòu),該崗位不等同于側(cè)重業(yè)務(wù)分析的數(shù)據(jù)分析師或?qū)W⒛P陀?xùn)練的算法工程師。
2、具備至少1個完整IT類項目經(jīng)驗,需能說明個人在項目中承擔的具體技術(shù)實現(xiàn)環(huán)節(jié),例如:①獨立編寫數(shù)據(jù)清洗腳本;②參與設(shè)計數(shù)據(jù)庫表結(jié)構(gòu)并完成SQL開發(fā)。
3、具備大數(shù)據(jù)(指海量數(shù)據(jù)的分布式采集、存儲、計算與任務(wù)調(diào)度)實踐經(jīng)驗,例如:①使用Hive/Spark SQL處理GB級以上業(yè)務(wù)數(shù)據(jù);②通過Airflow配置數(shù)據(jù)任務(wù)依賴關(guān)系。