当前位置: 首页 > 工具软件 > AVA > 使用案例 >

AVA时空检测数据集下载—AVA_Actions&AVA_Kinetics

何麻雀
2023-12-01


以下代码可以在我的github找到
欢迎访问个人主页博客

AVA系列

AVA数据集官方网站,需要科学上网,AVA提供4类数据集:

  • AVA-Kinetics(v1.0)):时空动作检测,包含来自 AVA v2.2 的原始 430 个视频,以及来自Kinetics-700 数据集的238k 个视频 。

  • AVA-Actions(v2.2):时空动作检测,包含 430 个视频,其中235 个用于训练、64 个用于验证和 131 个用于测试。每个视频有 15 分钟的注释,间隔为 1 秒。

  • AVA Active Speaker(v1.0):说话人检测。

  • AVA Speech(v1.0)

Task介绍:http://activity-net.org/challenges/2019/tasks/guest_ava.html

AVA-Actions

包含 430 个视频,其中235 个用于训练、64 个用于验证和 131 个用于测试。每个视频有 15 分钟的注释,间隔为 1 秒。

AVA-Actions(v2.2)数据集下载,下载后会得到以下文件。

行为类别文件

  • ava_action_list_v2.2_for_activitynet_2019.pbtxt:60类行为,Evaluate时使用。
  • ava_action_list_v2.2.pbtxt:80类行为。

行为标签文件

  • ava_train_v2.2.csv、ava_val_v2.2.csv、ava_test_v2.2.txt

其他文件

  • 每个视频要检测的位置,即第902到1798秒。
    • ava_included_timestamps_v2.2.txt
  • 不需要进行检测的timestamp,即 train/val/test 数据集中每个视频不需要进行检测的timestamp。
    • ava_test_excluded_timestamps_v2.2.csv
    • ava_train_excluded_timestamps_v2.2.csv
    • ava_val_excluded_timestamps_v2.2.csv

AVA-Kinetics

包含来自 AVA v2.2 的原始 430 个视频,以及来自Kinetics-700 数据集的238k 个视频 。

AVA-Kinetics(v1.0)数据集下载,下载后会得到以下文件。

行为类别文件

  • ava_action_list_v2.2.pbtxt:80类行为。
  • ava_action_list_v2.2_for_activitynet.pbtxt:60类行为,Evaluate时使用。

行为标签文件

  • AVA数据集:ava_test_v2.2.csv,ava_train_v2.2.csv,ava_val_v2.2.csv
  • kinetics数据集:kinetics_test_v1.0.csv,kinetics_train_v1.0.csv,kinetics_val_v1.0.csv

AVA标注规范

标签类别

AVA提供80 个原子动作的注释:

id英文标签中文标签id英文标签中文标签id英文标签中文标签
1bend/bow (at the waist)弯/弓腰2crawl爬行3crouch/kneel蹲下/跪下
4dance舞蹈5fall down摔倒6get up起床
7jump/leap跳跃/跳跃8lie/sleep说谎/睡觉9martial art武术
10run/jog跑步/慢跑11sit12stand站立
13swim游泳14walk15answer phone接电话
16brush teeth刷牙17carry/hold
(an object)
拿/保持
(物体)
18catch
(an object)
捕捉(物体)
19chop20climb
(e.g., a mountain)
攀登
(山)
21clink glass碰杯
22close
(e.g., a door, a box)
关闭(门、盒子)23cook厨师24cut
25dig26dress/put on clothing穿衣27drink
28drive
(e.g., a car, a truck)
驾驶29eat30enter进入
31exit出口32extract提炼33fishing钓鱼
34hit (an object)击中(物体)35kick (an object)36lift/pick up举起/捡起
37listen
(e.g., to music)
38open (e.g., a window, a car door)打开
(窗户、车门)
39paint
40play board game玩棋盘游戏41play musical instrument演奏乐器42play with pets和宠物一起玩
43point to (an object)指向(一个物体)44press45pull (an object)拉(物体)
46push (an object)推(一个物体)47put down放下48read
49ride (e.g., a bike, a car, a horse)50row boat划艇51sail boat帆船
52shoot射击53shovel54smoke抽烟
55stir搅拌56take a photo拍照57text on/look at a cellphone发短信/看手机
58throw59touch (an object)触摸60turn (e.g., a screwdriver)转动(螺丝刀)
61watch (e.g., TV)看(电视)62work on a computer在电脑上工作63write
64fight/hit (a person)打架/击打(人)65give/serve (an object) to (a person)把物给人66grab (a person)抢(一个人)
67hand clap拍手68hand shake握手69hand wave挥手
70hug (a person)拥抱71kick (a person)踢(一个人)72kiss (a person)吻(人)
73lift (a person)抬(人)74listen to (a person)听(一个人)75play with kids和孩子们一起玩
76push
(another person)
推(人)77sing to (e.g., self, a person, a group)唱歌(人,团体)78take (an object) from (a person)从(人)取(物)
79talk to (e.g., self, a person, a group)与(人、团体)交谈80watch (a person)看(一个人)

标注方式

  • 要标记的内容包括人物bbox,以及每个人的行为类别,同一时间同一人可能有多个行为
  • 每行标注一个人在一个时间段内在某个位置的一个行为。
  • 标记的内容还有还有每个实体编号,即相邻关键帧中的人物如果是同一个人,则拥有相同的实体编号。换句话说,“实体编号”其实就是目标跟踪的标签。
  • 并不是对视频中的每一帧进行标记,而只是对关键帧进行标记,即每秒取1帧作为关键帧,对该帧进行标记。

CSV格式

一行的格式如下:video_id、middle_frame_timestamp、person_box、action_id、person_id。

  • video_id:YouTube 标识符。
  • middle_frame_timestamp:从视频开始的秒数。
  • person_box:左上角 (x1, y1) 和右下角 (x2,y2) ,其中 (0.0, 0.0) 对应于左上角,而 (1.0, 1.0) 对应于右下角。
  • action_id:动作类标识符,见 ava_action_list_v2.2.pbtxt
  • person_id:一个唯一的整数,允许此框链接到在此视频的相邻帧中描绘同一个人的其他框。

旧版

AVA v2.2 在两个方面与 v2.1 不同。首先人工加入缺失的标签,将注释数量增加了 2.5%。其次,对宽高比远大于 16:9 的少量视频进行了框位置校正。

AVA v2.1 与 v2.0 的不同之处仅在于删除了少量被确定为重复的电影。类列表和标签映射与 v1.0 保持不变。

以前版本的 AVA 的文件可以在这里下载:

视频下载

以下代码可以在我的github找到

AVA-Actions

cd ava-actions

.
├── download.py
├── trainval_src.txt
├── test_src.txt
├── readme.md
  • trainval_url.txttest_url.txt:训练集验证集、测试集可以直接下载的url文件,在win下可以直接使用迅雷,IDM批量下载;ubuntu下直接wget即可。

  • download.py:如果不采用上述方法下载,亦可用download.py下载。

    python download.py --url_txt <urlfile> --output_dir <output_dir>
    

https://github.com/cvdfoundation/ava-dataset

下载AVA-Kinetics视频

cd ava-kinetics

.
├── download.py
├── all.csv
├── test.csv
├── test.csv
├── train.csv
├── readme.md
  • all.csvtrain.csvtest.csvval.csv:训练集、验证集、测试集、所有数据集的Youtube ID,包括起止时间。

  • download.py:使用download.py下载。

    python download.py  --input_csv <csvfile> --output_dir <output_dir>
    

https://github.com/gurkirt/kinetics-download-prep

 类似资料: