崗位職責:
1、負責高效、可擴展的工程化評測工具鏈開發(fā),覆蓋計算調(diào)度、并行加速、算子庫等推理全流程,通過自動化工具鏈實現(xiàn)評測流程標準化。
2、實現(xiàn)統(tǒng)一的評測流程抽象,支持GPU/NPU/XPU等多種異構(gòu)硬件,支持新型硬件的快速接入。
3、開發(fā)高效評測工具(批量任務發(fā)起模塊、實時性能監(jiān)控組件、數(shù)據(jù)解析模塊、自動化對比分析平臺等),解決評測過程中流程差異大、配置繁瑣、結(jié)果難復現(xiàn)等問題,提升評測效率與準確性。
任職要求:
1、本科及以上學歷,計算機、人工智能、軟件工程等相關(guān)專業(yè),具備大模型開發(fā)或評測相關(guān)項目經(jīng)歷者優(yōu)先。
2、優(yōu)秀的代碼實現(xiàn)與工程落地能力,熟練掌握Python、C++等編程語言,能獨立完成評測工具的設(shè)計、開發(fā)與調(diào)試;掌握Linux系統(tǒng)開發(fā)環(huán)境,具備Shell腳本編寫和自動化工具開發(fā)能力。
3、理解并掌握vllm、sglang等大模型推理框架的技術(shù)原理與實踐應用,具備大規(guī)模推理引擎部署或基于推理框架優(yōu)化評測性能的經(jīng)驗優(yōu)先。
4、熟悉機器學習核心原理,理解主流大模型(純文本模型、多模態(tài)模型等)的計算通路,熟悉大模型評測方法,具備海量評測數(shù)據(jù)處理與評測任務實施經(jīng)驗優(yōu)先。
5、具備良好的硬件知識,熟悉算子庫的運行原理,至少在一種硬件(GPU/NPU/XPU等)上有豐富的構(gòu)建經(jīng)驗。