崗位職責:
1、 前沿算法研究與開發:
· 方向一(VLA): 研究、復現并創新基于視覺-語言-動作(VLA)模型的端到端決策控制算法。訓練能夠將自然語言指令、多模態感知信息直接映射為機器人動作或技能序列的大模型。
· 方向二(分層控制): 設計并實現機器人的分層決策與控制架構(如:LLM+VLA+Low-level Policy的三層架構),包括高層任務規劃、中層技能序列生成與低層閉環控制之間的接口與協調機制。
· 探索大型語言模型(LLM)或大型視覺-語言模型(LVLM)作為機器人“任務規劃大腦”的應用,實現基于場景理解的零樣本(Zero-shot)或少樣本(Few-shot)任務分解與規劃。
2、 負責機器人具身操作任務的強化學習、模仿學習算法設計、開發和優化;
3、 仿真與真實世界驗證:利用高逼真度仿真環境(如Isaac Sim, Unity, Mujoco)進行大規模算法訓練、測試和驗證,特別是在長尾場景下的表現;設計和實施Sim-to-Real遷移方案,解決真實世界中的不確定性等問題,確保算法的魯棒性和實用性。
4、 研究多模態學習方法,結合視覺、觸覺、力反饋提升機器人決策能力; 包括VLM的訓練與微調,實現模型實際場景的落地需求,多模態數據集的構建、清洗等,提升算法性能和決策質量等。
任職資格:
1、具備深度學習、計算機視覺和自然語言處理的扎實理論基礎和實踐經驗;
2、優秀的編程能力(Python, C++),熟練使用PyTorch或TensorFlow等深度學習框架;
3、有使用主流機器人仿真軟件(Isaac Sim, Gazebo, Mujoco等)和機器人操作系統(ROS/ROS2)的經驗;
4、具備大型語言模型(LLM)或大模型應用(如LangChain)的微調方法、增量訓練方法或應用開發經驗,熟悉主流的多模態預訓練基座,熟悉多模態對齊等關鍵技術;
5、有實際機器人相關項目開發經驗,并理解機器人系統的基本問題(狀態估計、運動規劃、控制等);
6、具備良好的團隊合作精神和溝通能力,能夠通過團隊協作推進項目進展。