崗位職責(zé):
1、根據(jù)公司業(yè)務(wù)需要，對(duì)指定信息源進(jìn)行數(shù)據(jù)抓?。?br>2、研究和應(yīng)對(duì)反爬策略，保證爬取的穩(wěn)定性；
3、負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)，進(jìn)行多平臺(tái)信息的抓取和分析工作；
4、負(fù)責(zé)信息抽取、數(shù)據(jù)清洗等研發(fā)和優(yōu)化工作；
5、負(fù)責(zé)抓取數(shù)據(jù)的解析入庫(kù)，爬蟲(chóng)系統(tǒng)的監(jiān)控和異常優(yōu)化。
任職要求：
1、1年以上相關(guān)工作經(jīng)驗(yàn)；
2、熟悉Python語(yǔ)言;
3、熟練掌握一種開(kāi)源爬蟲(chóng)框架，如scrapy、webmagic，有研發(fā)爬蟲(chóng)框架經(jīng)驗(yàn)者優(yōu)先;
4、熟悉火車(chē)頭軟件的使用；
5、熟悉一種數(shù)據(jù)庫(kù);
6、對(duì)爬蟲(chóng)有濃厚的興趣，責(zé)任感強(qiáng)，有較好的交流溝通能力和團(tuán)隊(duì)合作能力；
7、有自我學(xué)習(xí)和探索的能力，關(guān)注行業(yè)動(dòng)態(tài)和技術(shù)趨勢(shì)，不斷提升個(gè)人技能水平