数学建模社区-数学中国

标题: 【数据应用案例】DeepMind听声辨位 [打印本页]

作者: 浅夏110 时间: 2020-5-14 19:59
标题: 【数据应用案例】DeepMind听声辨位
【数据应用案例】DeepMind听声辨位

1. 目标：利用同时具有音频和视频的数据进行训练，进而识别出某段音频是否可能由某段视频产生（如弹吉他、说话、酒杯摔碎），并识别出声音是由哪个部分产生的

2. 匹配音频与视频

1）是二分类问题，即一段音频与一段视频是否匹配

2）视频与音频分别输出ImageConvNet和AudioConvNet抽取特征表达，对齐后计算欧式距离，然后输出是否对应的可信度

3. 定位发声对象

1）增加监督数据，标注发声对象在图像中的位置

2）在网络中增加“音频-发声对象”的输出层

3）对于输入的音频，首先输入模型判断是否和视频匹配；如果匹配，输出最可能发声的图像位置

————————————————

原文链接：https://blog.csdn.net/u013382288/article/details/81666200

欢迎光临数学建模社区-数学中国 (http://www.madio.net/)