Human-Object Interaction (HOI) Detection Background and Motivations

HOI Detection要求定位出存在交互的人、物并給出兩者之間的動作關系，即最終要求給出三元組$$。實際的HOI系統執行以人為中心的場景理解，因此有著廣泛的用途，例如監控事件監測和機器人模仿學習。

傳統的HOI范式傾向于以多階段的方式來解決這個有挑戰性的復雜問題，即先執行object detection，再執行動作關系的分類，這種范式需要繁重的后處理（post-processing），例如啟發式匹配來完成任務，這導致其無法以端到端的方式進行training，導致了次優的性能。

最近sota的一系列HOI方法往往受啟發于DETR，將HOI Detection視為集合預測問題來克服這一問題，實現end-to-end的訓練優化，這類方法的基本流程如下圖（a）中所示，可以看出，這類方法往往利用transformer來將可學習的queries映射為HOI的預測集合，從而實現one-stage的HOI detection

然而，這些HOI檢測范式中的parametric interaction queries（參數化的交互queries）往往是隨機初始化的，這就導致范式中的queris和輸出HOI 預測之間的對應關系是動態的，其中對應于每個目標HOI三元組的query，例如$$，在預測開始時往往是未知的，這將嚴重影響模型去探索先驗知識，即inter-interaction 或 intra-interaction structure，即交互間的結構性關系和交互內的結構性關系知識，而這對于交互間的關系reasoning是非常有幫助的。

（a）之前的Transformer風格的HOI檢測范式（b）本文方法示意圖

Inter&Intra-interaction Structure For HOI Detection

交互間的結構性（Inter-interaction Structure）非常有助于互相提供線索來提高檢測效果，例如上圖中“human wear (baseball) glove” 就提供了非常強的線索來提示另一個interaction：“human hold bat”，有趣的是,內部交互結構（Intra-interaction Structure）可以解釋為每個HOI三元組的局部空間結構，例如人和物體的布局結構以一種額外的先驗知識來將model的注意力引導到有效的圖像區域，從而描述交互行為。

STIP : Structure-aware Transformer over Interaction Proposals

講了背景知識和基本的motivations，終于步入正題了，作者提出的方法叫做STIP（ Structure-aware Transformer over Interaction Proposals），其將一階段的HOI檢測方案分解為了兩階段的級聯pipeline：首先產生交互proposals（有可能存在交互的人-物對），接著基于這些proposal 執行HOI集合預測，如上圖中所示，STIP將這些proposal視為非參交互queries，從而啟發后續的HOI集合預測問題，也可以將其視為靜態的、query-based的HOI檢測pipeline。

下面將分別介紹Interaction Proposal Network 、Interaction-centric Graph和Structure-aware Transformer。

STIP整體流程示意圖

Interaction Proposal Network

STIP利用DETR作為物體（和人）檢測的base network，訓練過程中，DETR部分的權重是凍住的，不進行學習，基于DETR給出的檢測結果，Interaction Proposal Network（IPN）將構建存在潛在交互的的human-object對，對于每個human-object對，IPN將通過MLP給出潛在交互的分數，即 interactiveness score。只有Top-K個最高得分的human-object對將送入下一階段。

Human-Object Pairs Construction

STIP為了充分利用knowledge，從不同的信息層次來構建Human-Object對，每個HO對都由外觀特征、空間特征、和語言學特征（linguistic features）來構成。具體來說，外觀特征是從DETR中得到的human和object實例特征來構建，即分類頭前的、256通道維度的區域特征（即ROI區域特征）。我們將human和object的bounding box定義為： and ，則空間特征由

來構建，其中，則分別代表了人的區域，物體的區域，交叉的區域和聯合bounding box的區域信息。語言學特征則是將bounding box的類別名編碼為one-hot向量，向量的通道維度大小為300。每個HO對都將被如上方式進行表征，最終concat到一起，送入MLP中。

Interactiveness Prediction

構建Human-Object Pairs 后，將構建出的Human-Object Pairs 經過hard mining strategy（難樣本挖掘策略）來篩選出負樣本，正樣本則是由置信度大于0.5的human和object的bounding box IOUs組成。STIP需要預測出每個proposal成立的可能度，因此將其視為一個二分類問題，從而利用Focal loss來進行優化。在推理階段，只有top-K個最高得分的human-object 對將被送入下個階段作為交互proposal。

Interaction-Centric Graph

利用IPN來篩選出潛在的proposal后，接著STIP利用Interaction-Centric Graph來充分利用豐富的inter-interaction和intra-interaction structure的先驗知識，在實際實現中，將每個interaction proposal作為一個單一的graph node（圖節點），因此完整的interaction-centric graph利用每兩個nodes之間的連接來作為圖的edge。

Exploit Inter-interaction in Interaction-Centric Graph

回到本文開頭提到的motivation：交互間的結構性（Inter-interaction Structure）非常有助于互相提供線索來提高檢測效果，舉個栗子，當圖中有一個interaction為 human hold mouse，那么很有可能圖中還有另一個相同human instance的interaction：human look-at screen。這個有趣的先驗現象啟發了作者構建一個graph來充分利用該prior的知識。作者定義了下圖所示的六種交互間的關系來充分利用該先驗：

這六種類間語義關系由兩個交互proposal之間是否共享相同的humanobject來被具體指派。

Exploit Intra-interaction in Interaction-Centric Graph

接著我們看本文開頭提到的另一條motivation：內部交互結構（Intra-interaction Structure）可以解釋為每個HOI三元組的局部空間結構，例如人和物體的布局結構以一種額外的先驗知識來將model的注意力引導到有效的圖像區域。 STIP也通過分類、編碼來利用interaction內的空間關系，如下圖所示：

將背景、union、human、object、intersection分別進行轉換編碼，從而將spatial layout structures編碼進features中，參與特征交互。

Structure-aware Self-attention & Structure-aware Cross-attention

Structure-aware Self-attention & Structure-aware Cross-attention和傳統的self- attention基本類似，就不細講了～其中值得注意的是，作者受相對位置編碼的啟發，將每個key 與其的 inter-interaction semantic dependency 結合：

Training Objective

針對action的監督，也是利用folcal loss：

Experiments

可以看出，在VCOCO數據集上，STIP的性能非常強勁，比之前的IDN高了十幾個點，HICO-DET上的性能也很強。

Ablation Study

從消融實驗中可以看出， inter-interaction 和intra-interaction的相關module都非常漲點，

Conclusion

STIP不同與以往的query-based 范式，將proposal set prediction拆開為兩個stage，第一個stage產生高質量的queries，其中融合了豐富、多樣的的prior features來充分利用背景知識，從而有了非常驚艷的性能效果。

審核編輯：劉清