具體來說，組織者提出了三個基於不同任務下的具有高質量標註的視頻數據集，並在此基礎上組織了針對動作理解任務的三個賽道的挑戰賽，歡迎大家踴躍參賽！
挑戰賽主頁：https://deeperaction.github.io/
比賽時間
2021年6月1日 – 2021年9月10日
2021-06-01 ～ 2021-09-01 訓練階段
2021-09-01 ～ 2021-09-10 測試階段
2021-09-15 獲獎名單公布
2021-09-30 方法技術報告提交截止
2021-10-11 研討會
組織單位
南京大學、中國科學院深圳先進技術研究院、上海人工智慧實驗室、商湯科技。
Track 1：FineAction挑戰賽：時序動作定位
圖註：FineAction數據集視頻樣例
論文連結：https://arxiv.org/abs/2105.11107
數據集主頁：https://deeperaction.github.io/fineaction/
賽道簡介：CodaLab - Competition
當前，大部分動作定位數據集僅對行為進行粗略定義，如ActivityNet中的籃球訓練（Layup drill in basketball）並未被拆分成扣籃或投籃這樣更為精細的動作類別。然而，粗糙的動作類別往往與上下文背景高度相似，造成標註動作的時序界限不清晰。
為了填補這一空缺，組織者提出了FineAction這一新基準，包含近 17K 個未修剪視頻，139K個精細動作時序標註，為 106 個動作類別進行了更明確的動作類別定義和更精確的時序標註。
該數據集的構建，為精細化時序動作定位的研究帶來新的挑戰與機遇。
Track 2：MultiSports挑戰賽：時空動作檢測
圖註：MultiSports數據集視頻樣例
論文連結：https://arxiv.org/abs/2105.07404
數據集主頁：https://deeperaction.github.io/multisports/
賽道簡介：CodaLab - Competition
當前時空動作檢測基準主要分為兩類：一類是以J-HMBD和UCF101-24為代表的稠密標註的高度抽象動作數據集，這些數據集中往往是單人重複一些簡單動作；另一類是以AVA和DALY為代表的稀疏標註的數據集，這些數據集中的動作缺少明確的邊界，對於建模快速動作來說不太合適。
為了推動時空動作檢測研究，組織者提出了MultiSports這一新基準。這一數據集有著25fps稠密標註，且數據集規模大，有大量多人同時運動場景和明確的動作界限，部分動作（如足球的「pass」和「long ball」）需要較長的時序背景才能進行區分，這也對時空動作檢測模型提出了更高的要求。
Track 3：Kinetics-TPS挑戰賽：基於人體部位中層語義的視頻行為解析
圖註：Kinetics-TPS數據集視頻樣例
數據集主頁：https://deeperaction.github.io/kineticstps/
賽道簡介：CodaLab - Competition
為了填補這一空缺，我們提出了Kinetics-TPS這一全新數據集。與現有數據集不同，本數據集（共24 個人類行為類別）提供了視頻幀級別的身體部位標註，包括身體10個部位的7.9M個標註，7.9M個部位狀態（即身體部位如何移動），以及0.5M個交互物體，這為更為細緻的視頻行為理解提供可能。