崗位職責：
負責公開數據源等定向場景的數據抓取方案設計與落地。
搭建高穩定性、高并發的爬蟲體系，解決反爬機制（如驗證碼、IP 封鎖、UA 驗證、動態渲染）等核心問題，保障數據抓取效率與準確性。
優化爬蟲程序性能，降低服務器資源消耗，提升數據抓取成功率與更新頻率，滿足業務實時性或周期性數據需求。
監控爬蟲運行狀態，及時處理抓取異常、數據缺失等問題，建立告警機制與故障應急預案。
崗位基本需求：
本科及以上學歷，計算機科學、軟件工程、數據科學等相關專業，1-3 年定向數據抓取 / 爬蟲開發實戰經驗。
熟練掌握 Python 編程語言，精通 Scrapy、BeautifulSoup、Selenium、Playwright 等爬蟲框架與工具，能獨立完成復雜場景爬蟲開發。
熟悉 HTTP/HTTPS 協議、Cookie/Session 機制、API 接口調用，具備模擬請求、破解簡單加密參數的能力。
了解常見反爬策略及應對方案，有處理動態網頁、滑塊驗證碼、IP 池搭建、UA 池維護等實戰經驗者優先。