工作職責(zé)：
1、設(shè)計(jì)和實(shí)現(xiàn)高效穩(wěn)定的爬蟲程序，收集海量數(shù)據(jù)并進(jìn)行處理和分析。
2、負(fù)責(zé)多平臺(tái)信息抽取、數(shù)據(jù)清洗、入庫、服務(wù)化等研發(fā)和優(yōu)化工作。
3、解決實(shí)際開發(fā)過程中碰到的各類數(shù)據(jù)需求和接口問題。
4、參與業(yè)務(wù)需求討論，負(fù)責(zé)業(yè)務(wù)需求到技術(shù)實(shí)現(xiàn)的方案落地與實(shí)施。
5、監(jiān)控爬蟲運(yùn)行狀態(tài)，日常處理數(shù)據(jù)抓取的穩(wěn)定性和準(zhǔn)確性問題。
任職要求
1、負(fù)責(zé)設(shè)計(jì)、開發(fā)和維護(hù)高效、穩(wěn)定的爬蟲系統(tǒng)，提升數(shù)據(jù)采集的效率和質(zhì)量。
2、負(fù)責(zé)多平臺(tái)信息抽取、數(shù)據(jù)清洗、入庫、服務(wù)化等研發(fā)和優(yōu)化工作。
3、熟悉各種爬蟲框架和工具。
4、熟練掌握 Python、java語言編程。
5、熟悉Linux基礎(chǔ)命令。
6、熟練使用主流開源框架及工具，如SpringBoot、SpringCloud、Maven、Redis、MyBatis等。
7、熟悉分布式系統(tǒng)的設(shè)計(jì)和應(yīng)用，熟悉分布式、緩存、消息等機(jī)制。
8、有較大數(shù)據(jù)規(guī)模處理的實(shí)踐經(jīng)驗(yàn)者優(yōu)先。