1) 職責描述
參與采集平臺的設計和開發，確保數據采集的穩定性、準確性、及時性；
負責開源網站的爬蟲程序開發，包括但不限于：新聞、官網、智庫等各種類型的網頁、音視頻數據；
從結構化/非結構化數據中提取關鍵信息，完成數據清洗、消重、入庫及服務化，確保數據質量與時效性；
與業務團隊協作，分析需求可行性并提供數據解決方案，支持業務決策。
2) 任職要求
精通Python/Java，熟悉Scrapy、BeautifulSoup等框架，掌握正則表達式、XPath、CSS選擇器等數據抽取技術；
熟悉HTTP/HTTPS協議、TCP/IP網絡編程，具備JS逆向、APP脫殼或驗證碼破解經驗者優先；
本科及以上學歷，計算機相關專業，1年以上爬蟲開發經驗，有分布式系統或大數據處理（Hadoop/Spark）經驗者加分;
熟悉Linux環境及數據庫技術（MySQL/MongoDB/Redis），具備海量數據存儲與調優能力。
3) 其他要求
邏輯思維強，能獨立解決復雜技術問題，具備自驅力與團隊協作精神。
對數據敏感，具有良好的邏輯分析能力和問題排查技巧；
具備良好的團隊合作精神，能夠適應快節奏的工作環境；
良好的跨團隊溝通能力（與業務、分析師、運維協作）；