仿真環(huán)境裏考高分，全面體檢真機上卻“翻車”？幫模這個困擾具身智能行業(yè)的評測難題，如今有了破解之道。自變真評近日，量具自變量科技（深圳）股份有限公司（以下簡稱“自變量”）發(fā)布機器人仿真評測係統(tǒng)X2Real，身智為具身智能模型研發(fā)搭建起可信、測系有效、發(fā)布客觀的全面體檢仿真評測平臺。研究者可依托該係統(tǒng)高效、幫模快速、自變真評全麵地評估模型能力，量具精準(zhǔn)定位模型短板並進行針對性優(yōu)化改進，身智為具身智能技術(shù)研發(fā)打通關(guān)鍵評測環(huán)節(jié)。測系
破解仿真評測“可信度”難題
長期以來，發(fā)布具身智能領(lǐng)域的全面體檢模型評測麵臨兩大現(xiàn)實痛點：真機評測成本高、耗時長；仿真評測主要依賴於計算機搭建，雖然效率更高，但成績未必能準(zhǔn)確反映實際表現(xiàn)。如何讓仿真測試更可信，成為機器人研發(fā)需要解決的問題。
為解決這一行業(yè)共性難題，自變量團隊從機器人控製、視覺效果和物體屬性入手，讓虛擬環(huán)境更貼近現(xiàn)實世界。團隊通過讓真實機械臂與虛擬機械臂執(zhí)行相同指令，進而比較運動軌跡、調(diào)整參數(shù)縮小偏差，同時對物體重量、摩擦等屬性逐一校準(zhǔn)，保證虛擬環(huán)境的物理反饋符合真實運行規(guī)律。
據(jù)團隊測試數(shù)據(jù)顯示，在通用操作任務(wù)上，X2Real仿真與真機測試的任務(wù)成功率相關(guān)性達到0.96、進度分相關(guān)性達到0.99，效果居於行業(yè)前列。這意味著該係統(tǒng)輸出的仿真成績能夠較好地反映模型的真實表現(xiàn)，為後續(xù)模型開發(fā)提供了可靠的參考依據(jù)。
44項任務(wù)覆蓋多維度能力
X2Real共設(shè)置44個任務(wù)，覆蓋拉開抽屜放入藥瓶、堆疊積木、按指定顏色順序按鍵等典型操作場景，考察模型理解指令、記憶信息、規(guī)劃步驟和精細(xì)操作等能力。係統(tǒng)可通過調(diào)整光照、物品擺放位置等測試條件，同時嚴(yán)格區(qū)分訓(xùn)練與測試環(huán)境，進一步減少模型靠“背題”獲得高分的可能，真正檢驗其應(yīng)對新情況的能力。
通過將完整任務(wù)拆解成多個步驟並分別打分，這套評測係統(tǒng)還能幫助研發(fā)人員找準(zhǔn)問題。舉例來說，針對一個“拉開抽屜、放入藥瓶、關(guān)上抽屜”的任務(wù)，評測能清晰區(qū)分模型究竟是“打不開抽屜”，還是“關(guān)不上抽屜”。其中的智能體還可輔助分析失敗記錄，針對薄弱環(huán)節(jié)補充新任務(wù)，形成“出題、評分、分析、補題”的自動化流程。
低門檻接入推動評測標(biāo)準(zhǔn)化
不僅如此，這套評測係統(tǒng)還大幅降低了行業(yè)的使用門檻。開發(fā)者通過統(tǒng)一接口接入模型後，可通過平臺完成仿真測試、評分和執(zhí)行過程回放，無需自行搭建測試環(huán)境。
自變量團隊表示，可信、可重複的評測，是機器人走向?qū)嶋H應(yīng)用的重要支撐。X2Real的落地，一方麵有助於降低測試成本、提高研發(fā)效率，另一方麵也為不同模型提供了更一致的比較依據(jù)。
當(dāng)具身智能模型每一次能力迭代的足跡都可被精準(zhǔn)丈量、完整記錄、客觀評估，分散在全行業(yè)的點滴技術(shù)進步終將逐步匯聚，共同鋪就一條通向“物理智能奇點”的康莊大道。
