1．參與爬蟲項目需求分析，設計高效、穩定的爬蟲架構（含分布式爬蟲方案）； 2．開發、調試各類網站 / APP / 接口爬蟲，熟練處理 HTML、JSON、XML 等數據格式，通過 JS 逆向、APP 逆向解析加密參數與請求邏輯，解決復雜反爬機制（如動態加密、簽名驗證、驗證碼、IP 封鎖等）；

3．負責數據抓取、解析、清洗、去重、存儲全流程實現，保障數據準確性與時效性；

4．維護現有爬蟲系統，監控運行狀態，優化爬取效率、穩定性與資源占用（如并發控制、斷點續爬、異常重試）；

5．調研新型爬蟲技術、逆向工程方法與反爬應對方案，引入行業最佳實踐，提升團隊技術能力；

6．配合數據分析師、產品經理完成數據需求交付，解決數據獲取過程中的突發技術問題（含逆向相關故障排查）。

任職要求 ：

1.大專及以上學歷，計算機、軟件工程、數據科學等相關專業優先，

2.1-3 年爬蟲開發經驗（優秀應屆生需具備逆向相關實踐經歷）；

3.精通 Python 語言，熟練使用爬蟲框架與工具；

4.熟悉 HTTP/HTTPS 協議、RESTful API，掌握 cookie、session、token 認證機制，能獨立分析接口請求邏輯與加密流程；

5.具備扎實的逆向工程能力：熟練掌握 JS 逆向（如混淆代碼還原、加密函數破解）、APP 抓包與逆向（Fiddler/Charles 抓包、Smali 代碼分析）、常見加密算法破解（AES、RSA、MD5 簽名等）；

6.具備反爬策略實戰經驗，如 IP 池構建、UA 池輪換、驗證碼識別（OCR）、滑動驗證破解、動態頁面（JS 渲染）爬取等； 熟悉至少一種數據庫（MySQL、MongoDB、Redis 等），能熟練進行數據存儲、查詢與優化；

了解分布式爬蟲架構設計，具備高并發、大規模數據爬取場景的處理能力者優先；

7.具備良好的代碼規范、問題排查能力，能獨立解決爬蟲與逆向開發中的各類技術難點；

8.責任心強、溝通協作順暢，有較強的學習能力和抗壓能力，能適應業務快速迭代。

加分項

有過電商、資訊、短視頻、企業信息等垂直領域爬蟲 + 逆向結合的項目經驗；

熟悉 Docker、K8s 容器化部署，具備爬蟲自動化部署與監控經驗；

掌握安卓 /iOS 逆向工程實戰經驗，能獨立分析 APP 加密協議、使用 Frida/Xposed 等工具 hook 調試；

具備數據清洗、數據可視化相關經驗，熟悉 Pandas、Matplotlib 等庫； 有過復雜加密場景（如多層簽名、設備指紋驗證）的逆向突破案例。