崗位職責(zé)：
1.分析應(yīng)用場景，選型合適的技術(shù)框架和工具包。
2.分析數(shù)據(jù)處理需求，開發(fā)離線和實時處理任務(wù)，保障數(shù)據(jù)處理的吞吐和效率。
3.分析政府?dāng)?shù)據(jù)的治理需求，監(jiān)控及優(yōu)化數(shù)據(jù)質(zhì)量，管理調(diào)度、血緣、計算元數(shù)據(jù)。
4.制定數(shù)據(jù)標(biāo)準(zhǔn)、存儲結(jié)構(gòu)。
5.構(gòu)建數(shù)據(jù)應(yīng)用服務(wù)，保障數(shù)據(jù)生產(chǎn)、傳輸、存儲及使用的安全。
6.制定數(shù)據(jù)開發(fā)的流程、標(biāo)準(zhǔn)、規(guī)范。
任職要求：
1.本科及以上學(xué)歷，3年以上數(shù)據(jù)處理經(jīng)驗，涉及結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的離線及實時處理。
2.理解分布式處理及存儲的原理，理解數(shù)據(jù)加密、脫敏、簽名等安全機制。
3.熟練運用java/scala編程，熟練使用Spark、Iceberg、Clickhouse、Flink、Hadoop、Kafka等技術(shù)棧。
4.熟練使用Spring boot、MyBatis構(gòu)建數(shù)據(jù)服務(wù)。
5.了解DataWork等同類數(shù)據(jù)開發(fā)工具箱。
6.有城市治理項目經(jīng)驗、數(shù)據(jù)交易相關(guān)的項目經(jīng)驗、數(shù)據(jù)湖Iceberg項目經(jīng)驗。