在剛剛過去的CVPR上，isee聯(lián)合北京大學(xué)、加州大學(xué)洛杉磯分校、麻省理工學(xué)院共同發(fā)布了一項研究成果，稱為多智能體張量融合（Multi－Agent Tensor Fusion，MATF）。該模型將多個代理的過去軌跡和場景編碼為一個多代理張量，然后應(yīng)用卷積融合捕獲多代理之間的交互，同時保留代理的空間結(jié)構(gòu)和場景。該模型使用對抗性損失來學(xué)習(xí)隨機預(yù)測。通過在高速公路場景和行人擁擠場景的數(shù)據(jù)集的實驗表明，該模型達(dá)到了最先進的預(yù)測精度。

開車是一種社交活動。考慮一下這個場景中令人印象深刻的多主體社會交互（讓人頭疼的環(huán)島路）：

司機們在一個復(fù)雜的場景中駕駛，且同時基本保持安全。在于同一環(huán)境下的其他道路參與者近距離行駛或交互的情況下，在無法掌握其他車輛的全部行駛意圖的情況下，人類駕駛員可以保證大概率的交通安全，是非常了不起的。那么人類駕駛員又是如何完整這一壯舉的呢？

社會預(yù)測（Social prediction）是駕駛必不可少的一環(huán)

人類駕駛員利用他們的社交智能來預(yù)測其他交通參與者未來的動作將如何依賴于與自己以及場景的交互。通過預(yù)測附近的交通參與者的軌跡，駕駛員可以主動規(guī)劃安全的交互，盡可能減少當(dāng)意外發(fā)生即將發(fā)生時候做出諸如急剎車等其他應(yīng)急反應(yīng)。

然而，人類駕駛員永遠(yuǎn)無法完全肯定地預(yù)測另一輛車將會執(zhí)行怎樣的軌跡。人類駕駛員通常處于一種思考“他會讓行么？”“他不會突然加速吧？”“他會開多慢呢？”的情況中。

學(xué)會預(yù)測

研究人員開發(fā)了一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，它可以從大規(guī)模數(shù)據(jù)中學(xué)習(xí)對其他軌跡進行概率預(yù)測。研究人員的方法只考慮在駕駛過程中收集的訓(xùn)練數(shù)據(jù)，盡可能實現(xiàn)在環(huán)境、場景、車輛和代理的類型（卡車、轎車、公共汽車、摩托車、自行車、行人等）之間的泛化。

iess聯(lián)合北京大學(xué)、南加州大學(xué)、麻省理工共同開發(fā)的新方法，稱為多智能體張量融合（Multi－Agent Tensor Fusion，MATF）。通過在一個多智能體張量（MAT）表示中對齊場景特征和智能體軌跡特征，結(jié)合了空間和以智能體為中心表示的優(yōu)勢，如下所示。MAT編碼通過卷積運算自然處理場景與不同數(shù)量的代理，并預(yù)測場景中所有代理的軌跡的計算復(fù)雜度是線性的。GAN訓(xùn)練允許MATF學(xué)會預(yù)測的分布軌跡捕獲局勢將如何發(fā)展的不確定性。MATF學(xué)會了預(yù)測關(guān)節(jié)軌跡，這可以解釋車輛之間諸如減速和避讓等互動行為。

這是MATF體系結(jié)構(gòu)的詳細(xì)說明。MATF體系結(jié)構(gòu)首先對場景的所有相關(guān)信息進行編碼，然后用一個遞歸神經(jīng)網(wǎng)絡(luò)對每個代理的過去軌跡進行處理，對每個代理的所有相關(guān)信息進行編碼。然后，網(wǎng)絡(luò)將場景和代理特征在空間上對齊成一個多代理張量，在場景中保留所有的局部和非局部空間關(guān)系。然后，利用學(xué)習(xí)的全卷積映射進行多智能體張量融合，得到融合后的多智能體張量作為多智能體驅(qū)動場景的最終編碼。卷積映射對于每個代理都是一樣的，它捕捉所有代理之間的空間關(guān)系和交互，同時適用于場景中的所有代理。然后，MATF方法從融合的多智能體張量中學(xué)習(xí)概率解碼信息，生成對場景特征和周圍智能體軌跡敏感的預(yù)測軌跡。

我們使用條件生成反求網(wǎng)絡(luò)（GAN）訓(xùn)練技術(shù)，在給定MATF編碼的情況下，學(xué)習(xí)軌跡上的概率分布。GANs允許學(xué)習(xí)高保真度的生成模型來捕獲觀測數(shù)據(jù)的分布。在駕駛環(huán)境中，分布的模式對應(yīng)于車輛或行人可能執(zhí)行的不同機動，例如跟隨車道／路徑和改變車道／路徑。每個模式周圍的分布對應(yīng)于機動執(zhí)行的方式，如快、慢、主動、謹(jǐn)慎等。甘斯很自然地捕捉到了這兩種變化。重要的是，我們的GAN算法訓(xùn)練模型生成關(guān)節(jié)軌跡，該軌跡考慮了車輛之間的相互作用，如屈服和避碰。

結(jié)論

研究人員首先應(yīng)用他們的模型來學(xué)習(xí)預(yù)測車輛軌跡（其中，大規(guī)模駕駛數(shù)據(jù)由isee收集）。下圖顯示了五種場景，每種車輛過去的軌跡以不同的顏色顯示，后面是100條采樣的未來軌跡。地面實際發(fā)生的軌跡用黑色表示，車道中心用灰色表示。（a）顯示了涉及五輛車的復(fù)雜情況；MATF精確地預(yù)測了所有車輛的軌跡和速度剖面。在（b）中，MATF正確地預(yù)測出紅色車輛將完成換道。在（c）中，MATF捕捉到紅色車輛是否會從高速公路出口駛出的不確定性。在（d）中，一旦紫色的車輛通過高速公路出口，MATF預(yù)測它不會從高速公路出口通過。（e）中，MATF未能準(zhǔn)確預(yù)測紅色車輛的地面真實軌跡；但是，預(yù)測車輛將在少量的采樣軌跡中啟動變道機動，這反映了從數(shù)據(jù)集中學(xué)習(xí)到的自發(fā)變道的低先驗概率。

接下來，研究人員將他們的模型應(yīng)用到學(xué)習(xí)中，從斯坦福無人機數(shù)據(jù)集中預(yù)測行人和其他多種類型的代理的軌跡。斯坦福無人機數(shù)據(jù)集是一個大型且先進的數(shù)據(jù)集，其中包含行人、騎自行車的人、滑板者、手推車、小汽車和在大學(xué)校園中行駛的公共汽車的軌跡。下圖中，藍(lán)線表示過去的軌跡，紅線表示地面真實軌跡，綠線表示預(yù)測軌跡。圖中所示的所有代理的軌跡都是通過一個前向遍歷網(wǎng)絡(luò)來聯(lián)合預(yù)測的。該模型預(yù)測：（1）兩個從頂部進入環(huán)形交叉口的代理將從左側(cè)退出；（2）在環(huán)形交叉口上方的通路上，左側(cè)來的一個代理向左轉(zhuǎn)彎，向圖像頂部移動；（3）一個減速機在上述建筑物的門口和回旋處的右側(cè)減速。另一個雖然失敗但卻很有趣的案例（4）中，一個位于環(huán)形交叉口右上角的代理正在右轉(zhuǎn)，以移動到圖像的頂部；該模型可以預(yù)測轉(zhuǎn)彎，但未能準(zhǔn)確預(yù)測轉(zhuǎn)彎角度。