職位描述
1、數(shù)據(jù)戰(zhàn)略與挖掘： 深入理解業(yè)務(wù)需求，調(diào)研、識別并評估可用于3D AI訓(xùn)練的高價值數(shù)據(jù)源（如公開3D模型庫、設(shè)計社區(qū)、電商平臺、視頻等）。
2、系統(tǒng)設(shè)計與開發(fā)： 設(shè)計、開發(fā)并維護(hù)穩(wěn)定、高效、可擴(kuò)展的分布式數(shù)據(jù)爬蟲系統(tǒng)，能夠應(yīng)對各種復(fù)雜的反爬策略和海量數(shù)據(jù)抓取任務(wù)。
3、數(shù)據(jù)處理與清洗： 對抓取的多模態(tài)數(shù)據(jù)進(jìn)行清洗、去重、標(biāo)注、格式化，構(gòu)建高質(zhì)量的3D訓(xùn)練數(shù)據(jù)集，確保數(shù)據(jù)的合規(guī)性與可用性。
4、技術(shù)攻堅： 解決爬取過程中遇到的各種技術(shù)挑戰(zhàn)，包括但不限于動態(tài)渲染（JS）、驗證碼識別、IP封禁、API限制等。
5、質(zhì)量與效率： 建立數(shù)據(jù)質(zhì)量監(jiān)控體系，持續(xù)優(yōu)化爬蟲策略和系統(tǒng)架構(gòu)，提升數(shù)據(jù)采集的覆蓋度、新鮮度和效率。
6、合規(guī)與倫理： 嚴(yán)格遵守Robots協(xié)議、數(shù)據(jù)安全法與版權(quán)法規(guī)，確保所有數(shù)據(jù)采集活動的合法合規(guī)性。
任職要求：
1、精通 Python 編程語言，熟練掌握 Scrapy, Requests, BeautifulSoup, Selenium/Playwright 等主流爬蟲框架和工具。
2、深刻理解HTTP/HTTPS協(xié)議，熟悉Web前端技術(shù)（HTML, CSS, JavaScript）。
3、具備處理復(fù)雜反爬機(jī)制（如IP速率限制、用戶行為檢測、加密參數(shù)等）的實戰(zhàn)經(jīng)驗。
4、熟悉至少一種數(shù)據(jù)庫（如 MySQL, PostgreSQL, MongoDB, Redis）。
5、具備優(yōu)秀的數(shù)據(jù)清洗和處理能力，熟悉 Pandas, NumPy 等工具。
6、了解分布式爬蟲原理，有使用 Scrapy-Redis, Celery 等工具的經(jīng)驗。