崗位職責(zé)：
1、負(fù)責(zé)設(shè)計(jì)、開發(fā)、維護(hù)互聯(lián)網(wǎng)數(shù)據(jù)采集相關(guān)的軟件產(chǎn)品和模塊，開發(fā)主要使用語(yǔ)言為Python
2、負(fù)責(zé)社交、短視頻平臺(tái)數(shù)據(jù)大規(guī)模采集 ；
3、負(fù)責(zé)網(wǎng)頁(yè)信息抽取等核心算法的研究和優(yōu)化；
4、負(fù)責(zé)重點(diǎn)目標(biāo)站點(diǎn)的結(jié)構(gòu)與URL特點(diǎn)分析，負(fù)責(zé)垂直領(lǐng)域與定向網(wǎng)站的數(shù)據(jù)采集、維護(hù)及數(shù)據(jù)異常的跟蹤處理。
任職要求：
1、熟練掌握至少一種操作系統(tǒng)(Linux、Windows)
2、熟練掌握至少一種數(shù)據(jù)庫(kù)(Mysql、Mongodb)
3、熟練掌握至少一種前端web開發(fā)技術(shù)(vue、react、angular)
4、熟練掌握至少一種后端開發(fā)語(yǔ)言(python、golang、java), 后端服務(wù)框架(flask、sprintboot、flask、django)
5、熟悉分布式系統(tǒng)開發(fā)，高并發(fā)、多線程、多進(jìn)程技術(shù)
6、熟悉常見反爬技術(shù)，如基于IP、驗(yàn)證碼(滑動(dòng)、點(diǎn)圖、點(diǎn)字等)、壓縮混淆算法（jsvmp）等
7、熟悉常見自動(dòng)化框架，如selenium、puppeteer、cdp協(xié)議等
8、熟悉安卓端逆向的優(yōu)先，如抓包、應(yīng)用層、so層調(diào)試、算法還原、Hook、遠(yuǎn)程rpc等
9、熟悉GUI、管理系統(tǒng)開發(fā)的優(yōu)先，如.net(winform)、electronjs、基于webview渲染的前端開發(fā)技術(shù)
10、熟悉國(guó)內(nèi)短視頻平臺(tái)風(fēng)控算法的優(yōu)先，如抖音、快手、小紅書等
11、熟悉海外短視頻平臺(tái)風(fēng)控算法的優(yōu)先，如tiktok、instagram、youtube等