4月25日，騰訊RoboticsX實(shí)驗室公布最新機器人研究進(jìn)展，首次展示在靈巧操作領(lǐng)域的成果，推出自研機器人靈巧手TRX-Hand和機械臂TRX-Arm。

　　其中，靈巧手TRX-Hand擁有像人手一樣靈活的操作能力，可適應不同場(chǎng)景，靈活規劃動(dòng)作，自主完成“操作”。而機械臂TRX-Arm針對人居環(huán)境自主研發(fā)，擁有七自由度和擬人的特性，具有運動(dòng)靈巧、爆發(fā)力強、觸控一體以及柔順安全等特點(diǎn)。

　　一般來(lái)說(shuō)，機器人技術(shù)根據“智能程度”可分為三個(gè)階段：只能完成固定命令的程序機器人、能夠感知周?chē)h(huán)境的自適應機器人以及能夠自主學(xué)習和決策的智能機器人。常見(jiàn)的工廠(chǎng)流水線(xiàn)機械臂以及拉面機器人等即屬于第一階段，它們只能在單一的場(chǎng)景內重復固定的動(dòng)作。

　　具備靈巧操作能力的機器人則屬于第二和第三階段，人類(lèi)真實(shí)的生活中會(huì )涉及大量的操作場(chǎng)景，如拾取物品、倒水等，為了讓機器人更好地幫助人類(lèi)、發(fā)揮更大作用，提升其操作能力至關(guān)重要。

　　想要在各類(lèi)場(chǎng)景里靈活操作物體，機器人必須能感知環(huán)境、理解物體、評估狀態(tài)、預測行為并自主規劃完成物體操作，這意味著(zhù)機器人要具備豐富的感知、強大的決策與可靠的執行能力。

　　以騰訊本次展示的機器人花式調酒場(chǎng)景為例，為完成一杯酒的調制，機器人需對多種物體連續進(jìn)行30多次操作，這也對機器人本體、感知與控制的精準度、穩定性、容錯度提出了極高的要求，這個(gè)過(guò)程不僅涉及瓶子、杯子、攪拌棒等多種常見(jiàn)物體，機器人還需要以多種動(dòng)作操作這些物體，包含抓、放、倒這些常規操作和旋轉、搖晃等雙手協(xié)同動(dòng)作，以及更高難度的拋接、翻轉等動(dòng)態(tài)操作和插孔、穿刺、攪拌等精細操作動(dòng)作。

　　這一系列連貫、復雜、精巧的動(dòng)作，體現了騰訊RoboticsX實(shí)驗室在機器人本體、感知與控制技術(shù)上領(lǐng)先的綜合實(shí)力。

　　一、自主研發(fā)高性能三指靈巧手首次亮相

　　在運動(dòng)能力上，得益于創(chuàng )新的剛柔混合驅動(dòng)機構設計和自研高功率密度驅動(dòng)器，騰訊靈巧手TRX-Hand兼具高靈巧和高負載速度的特性，擁有8個(gè)可獨立控制關(guān)節，自重僅1.16千克，最大持續指尖力可達15牛，最大關(guān)節速度不低于600度每秒，可輕松應對不同形狀尺寸物體的抓取和操作，對高動(dòng)態(tài)的拋接動(dòng)作也游刃有余。同時(shí)，柔性驅動(dòng)的指尖設計有效提升了手指的抗沖擊能力。

　　在感知能力上，靈巧手在指尖、指腹和掌面均覆蓋了自研的高靈敏度柔性觸覺(jué)傳感器陣列，掌心處安裝有微型激光雷達和接近傳感器，同時(shí)每一個(gè)關(guān)節均集成了角度傳感器，保證靈巧手在抓取和操作過(guò)程中能準確地感知自身與物體狀態(tài)信息。

　　二、視覺(jué)、接近覺(jué)、觸覺(jué)、力覺(jué)多傳感器融合

　　考慮到人居環(huán)境中充斥著(zhù)透明、反光、細小的物體以及由遮擋、光照、打滑等因素造成的各種不確定性，為了讓機器人精準可靠地獲取物體信息，需要結合多種傳感信息，如視覺(jué)、接近覺(jué)、觸覺(jué)和力覺(jué)等。

　　這些不同模態(tài)傳感信息各有各的特點(diǎn)，如，相機可以看到場(chǎng)景全貌，為機器人做全局運動(dòng)規劃提供必要信息；接近覺(jué)在機器人靠近環(huán)境物體過(guò)程中提供更實(shí)時(shí)的反饋，彌補系統建模的誤差，使機器人更精準地獲取物體；觸覺(jué)可以感知相機無(wú)法看到的接觸細節，包括接觸位置和形狀，實(shí)時(shí)感知手內物體的狀態(tài)；力覺(jué)使機器人感知與環(huán)境/物體交互時(shí)的整體受力情況，使交互更為輕柔和自然。

　　騰訊RoboticsX實(shí)驗室對不同傳感器進(jìn)行了建模與標定，采用多傳感器信息融合技術(shù)，使機器人能在各種操作任務(wù)中更全面及時(shí)地感知物體信息、自身運動(dòng)狀態(tài)以及與環(huán)境的物理交互，從而更可靠地完成任務(wù)。

　　三、軟硬結合讓機器人像人一樣“動(dòng)手”

　　機器人是一項綜合性的技術(shù)，不僅對本體和傳感器等硬件有著(zhù)極高的要求，軟件算法也是機器人的核心要件。據研究員介紹，騰訊RoboticsX實(shí)驗室本次展示的機器人是在六自由度工業(yè)機械臂上搭載靈巧機器手TRX-Hand以及自主開(kāi)發(fā)的感知與控制算法后，讓機器人能夠順暢地完成一系列操作動(dòng)作。

　　針對抓放物體與倒水等常規動(dòng)作，首先基于視覺(jué)和觸覺(jué)對物體進(jìn)行實(shí)時(shí)識別與定位，利用在線(xiàn)規劃算法，讓機器人能夠計算出臂手的最佳構型與安全運動(dòng)軌跡，隨后，在執行中利用手上三種傳感器進(jìn)行自適應調整，進(jìn)一步保證動(dòng)作執行的精度與可靠性，同時(shí)借助機械臂末端六維力傳感器感知與環(huán)境的交互力，避免猛烈碰撞。這樣才能保證機器人抓得穩、放得輕、倒得準。

　　讓機器人的“雙手”在高速運動(dòng)的同時(shí)保持協(xié)同極具挑戰，協(xié)同失誤會(huì )產(chǎn)生過(guò)大沖擊或應力，損傷被操作物體甚至機器人本身。

　　在調酒的過(guò)程中，騰訊RoboticsX實(shí)驗室展示的機器人結合視觸覺(jué)融合的手內物體姿態(tài)估計與基于機械臂末端力傳感信號的力位混合控制，實(shí)現了酒瓶與搖酒器高速旋轉倒酒、大小搖酒器相扣搖酒等雙手協(xié)同動(dòng)作。

　　本次展示中，騰訊RoboticsX實(shí)驗室讓機器人順利完成“拋接”等高難度的動(dòng)作，這類(lèi)動(dòng)作對實(shí)時(shí)性要求極高，感知或執行上的細微誤差都會(huì )導致操作失敗。

　　研究團隊在這一過(guò)程中創(chuàng )新性地提出了基于機器人本體感知的抓拋過(guò)程建模與物體飛行軌跡預測方法，有效彌補傳統視覺(jué)算法在短距離、強遮擋、高動(dòng)態(tài)操作場(chǎng)景下的局限性，實(shí)現了高精度、高時(shí)效的抓拋物體飛行軌跡預測。

　　此外，團隊還提出了飛行物體的最優(yōu)攔截時(shí)間、最優(yōu)攔截位姿與最優(yōu)攔截軌跡的計算方法，以動(dòng)作持續時(shí)間、機器人運動(dòng)能量以及與物體的接觸力為優(yōu)化目標，能在數毫秒內完成計算，實(shí)現對快速飛行物體的平穩攔接。

　　在攪拌棒插孔和使用簽子插葡萄的任務(wù)中，不銹鋼攪拌棒和金屬簽子都是無(wú)紋理、高反光的細長(cháng)物體，攪拌棒直徑8mm，與孔直徑相差僅1mm，簽子直徑不足2mm，這給物體的識別與定位帶來(lái)不少挑戰。

　　特別是，攪拌棒在經(jīng)過(guò)一系列攪拌動(dòng)作后并不一定停留在原來(lái)的手內位置，其在接近孔時(shí)會(huì )對孔造成遮擋，它的反光表面更會(huì )倒映出孔造成視覺(jué)的混淆。

　　對此，研究團隊在僅依靠機器人頭部相機的條件下，通過(guò)對物體間相對位置的估計，并融入觸覺(jué)感知，獲得了穩定的攪拌棒、孔和簽子的識別與定位。

　　此外，通過(guò)力覺(jué)感知到插孔失敗后能抬起手臂再次嘗試，通過(guò)幾次試探使攪拌棒逐漸接近真實(shí)孔位、確保完成插孔操作，展示了機器人能實(shí)時(shí)感知任務(wù)狀態(tài)，識別失敗并自主調整策略，最終成功完成任務(wù)的調整和容錯能力。

　　此外，高分辨率的指尖觸覺(jué)讓機器人精巧的手內操作成為可能。所謂手內操作，指的是僅利用手指來(lái)操控手里的物體，改變其位姿和狀態(tài)。

　　這是一種充分發(fā)揮手指運動(dòng)能力的技能，能以最小能耗達到操作物體的目的，同時(shí)也對手部的感知能力和控制精度有極高要求，是“靈巧”性的集中體現。

　　人類(lèi)在日常生活中大量使用手內操作，例如攪拌湯勺、寫(xiě)字、使用筷子等。但對于機器人來(lái)說(shuō)，手內操作非常有挑戰性，在“感知—控制”回環(huán)的任一部分稍有差池，就會(huì )造成物體掉落和任務(wù)失敗。

　　演示中，機器人以指尖抓住一根細長(cháng)的攪拌棒，先以臂手協(xié)同的方式大力攪拌杯子里的液體，然后靜止手臂，以純手指運動(dòng)的方式平滑柔順地攪拌，其中后者的手內操作結合了深度強化學(xué)習和sim2real等技術(shù)，使用了指尖傳感器實(shí)時(shí)反饋接觸狀態(tài)，生成三個(gè)手指的協(xié)同運動(dòng)，同時(shí)對攪拌棒施加合適的力，在保證攪拌棒不掉落的前提下，驅動(dòng)攪拌棒按期望軌跡攪拌杯子里的液體，充分展現機器人的靈巧操作能力。

　　四、讓機器人技術(shù)更好地服務(wù)現實(shí)需求

　　騰訊自主研發(fā)的高性能七自由度擬人機械臂TRX-Arm也首次對外亮相。不同于傳統的協(xié)作型機械臂，TRX-Arm采用了繩索傳動(dòng)與差分驅動(dòng)相結合的方式，不僅有效降低了傳動(dòng)摩擦和運動(dòng)慣量，還實(shí)現了多電機多關(guān)節協(xié)同驅動(dòng)，具有高動(dòng)態(tài)運動(dòng)的能力，其最大速度7.4m/s，最大加速度44.5m/s2，可負載6kg以上。

　　同時(shí)，其前臂集成了768點(diǎn)的觸覺(jué)陣列，其刷新頻率高達1000Hz，以此實(shí)現了酒瓶在滾動(dòng)和平衡過(guò)程中的高頻實(shí)時(shí)定位。

　　據研究員介紹，接下來(lái)騰訊RoboticsX實(shí)驗室將把繼續推動(dòng)自研機器人靈巧手TRX-Hand和機械臂TRX-Arm的融合，并引入深度學(xué)習等前沿算法，提升機器人的靈巧操作能力和解決復雜問(wèn)題的能力，讓其更好地服務(wù)現實(shí)需求。

　　騰訊RoboticsX實(shí)驗室致力于機器人前沿技術(shù)的研究，打造人機共存、共創(chuàng )和共贏(yíng)的未來(lái)，此前已經(jīng)推出多模態(tài)四足機器人Max和輪腿式機器人Ollie等多款自研機器人。

　　接下來(lái)，騰訊將繼續探索機器人前沿技術(shù)，推動(dòng)機器人技術(shù)在養老護理、居家服務(wù)、智能制造等領(lǐng)域的落地應用。