崗位職責
【有①Agent搭建/RAG/大模型微調；②數據挖掘/數據清洗；③向量化知識庫構建；任意一項相關經驗優先】
1. 負責設計、開發和維護高效、穩定的爬蟲系統，滿足公司各類數據采集需求，涵蓋市場數據、行業動態、競品信息等；
2. 綜合運用Python、Java、Node.js等編程語言進行爬蟲程序開發，根據不同網站的結構和反爬策略，選擇合適的技術方案，確保代碼具備良好的質量、性能和可擴展性；
3. 深入分析網頁結構，熟練運用HTML、CSS、JavaScript知識，精準解析和提取目標數據，處理復雜的動態網頁內容；
4. 實時監控爬蟲運行狀態，及時發現并解決性能瓶頸、數據丟失、反爬限制等問題，通過優化代碼、調整抓取策略等方式，持續提升爬蟲的抓取效率和穩定性；
6. 研究并應對各類反爬機制，如IP封鎖、驗證碼識別、用戶行為檢測等，運用代理池、驗證碼識別技術、模擬用戶行為等手段，實現有效的反反爬策略，確保爬蟲能夠穩定運行；
7. 定期維護和更新現有爬蟲系統，根據網站結構變化和業務需求調整，及時優化抓取邏輯，保證數據的持續獲取和有效性；
8. 編寫詳細、規范的技術文檔，記錄爬蟲系統的設計架構、開發流程、關鍵代碼邏輯以及維護要點，方便團隊成員進行技術交流和后續維護。
任職要求
1、計算機科學、軟件工程、數學等相關專業本科及以上學歷；
2、3年以上爬蟲開發工作經驗，具備多個完整爬蟲項目的開發和維護經驗；
3、有過處理反爬策略的成功案例，如繞過驗證碼、突破IP封鎖等，能夠分享有效的反反爬經驗和技術手段；
4、熟練掌握Python、Java、Node.js等編程語言，能夠構建大規模、高性能的分布式爬蟲系統，提升數據采集效率；
5、具備較強的問題分析和解決能力，能夠快速定位和解決爬蟲開發過程中遇到的各種技術難題，如數據抓取異常、性能優化等，善于通過調試工具和技術手段進行問題排查
加分項：
爬取過外網平臺，熟悉爬蟲自動化，熟悉多線程，做過IP池，處理過驗證碼和較為復雜的圖文校驗，了解過vpn與國外服務器，進行過數據清洗
母公司上海正帆科技股份有限公司簡介：
上海正帆科技股份有限公司（股票代碼688596），公司網址：https://www.gentechindustries.com/，在做特種氣體（氮氣、氫氣、氧氣、氦氣、氬氣等）這塊業務實力在民營企業國內排名第一，世界排名第四，前三都是世界500強，多年來還一直服務于半導體芯片、光伏電池、光纖制造、固體半導體照明和平面顯示等高科技行業，為客戶提供包括超高純水、氣、化和真空系統在內的關鍵廠務系統以及相關服務，向客戶提供制程關鍵系統綜合解決方案。
23年上市公司銷售額超過60億，凈利潤超過10億，集團營收超100億。
本公司介紹：
徠鉑科服(上海)信息科技有限公司，公司網站:www.labservice.tech; 為 A股上市公司上海正帆科技股份有限公司的控股子公司，注冊地在上海浦東自貿區，總部設立在上海市徐匯區零陵路599號，是由世界500強化工企業核心科學家及前騰訊高級技術專家聯合打造的高科技科學大數據管理軟件企業。作為一家高科技信息技術公司，我們為化學化工，醫藥，材料及生命科學等科研單位提供高質量數據信息管理服務，幫助科研機構信息化工程，軟件工程，知識管理，新藥開發等實現現代化，數據化。為客戶持續發展注入催化劑，一起創造簡單，智慧，雙贏的局面；以互聯網+科研，助力中國科研創新創造。
我們公司絕大多數成員都具有碩士以上學歷，還有許多化學，生物學或藥理學專業的博士。除上海總部外，我們在北京，西安，天津，南京均設有辦事處，公司目前已服務于7萬余名研究人員。公司的快速成長的驅動力來自于客戶的信賴和滿意，我們將持之以恒的致力于為客戶提供最為可靠，安全，迅速和高性價比的數據信息管理服務。我們的突破性平臺可幫助科學家日復一日地處理，訂購和優化資源，幫助實驗室安全管理人員實時動態監管化學品的生命周期，我們正在努力成為實驗室管理的中國標準。
關于公司穩定性：
我們公司的大股東也是母公司正帆科技的大股東，母公司現在很看好我們公司今后的發展，也會給予我們公司許多支持，現在母公司也在全國有13個生產基地，且將在合肥和河南建設實驗室業務生產及研發基地，占地30畝，母公司有強大的利潤及現金流作為支撐，在整個行業不景氣的情況下，更加顯得難得可貴。
公司福利
1、每周5天8小時工作制；
2、公司按國家有關規定為員工購買養老保險、醫療保險、工傷保險、失業保險、生育保險等社會保險和公積金項目。
3、公司針對員工職業發展需要，不定期進行專項培訓；
4、公司不定期由各部門輪流組織開展各種活動，增進團隊情感，豐富員工業余生活。
5、享有國家規定的法定節假日休假制度；