神经网络 – 时间依赖特征的卷积神经网络

我需要从一系列图像中减少维数.更具体地,每个图像是球移动的快照,并且最佳特征将是其位置和速度.据我所知,CNN是减少图像分类功能的最先进技术,但在这种情况下,只提供了一个帧.在不同的时间步长给出许多图像是否有可能提取时间相关的特征?否则这是最先进的技术吗?

这是我第一次使用CNN,我也很感激任何参考或任何其他建议.

最佳答案 如果您希望能够让网络以某种方式识别出与时间相关的进展,那么您应该研究一下递归神经网络(RNN).由于您将在视频上操作,因此您应该查看循环卷积神经网络(RCNN),例如:
http://jmlr.org/proceedings/papers/v32/pinheiro14.pdf

重复增加了输入数据先前状态的一些记忆.请参阅Karpathy的这个很好的解释:http://karpathy.github.io/2015/05/21/rnn-effectiveness/

在您的情况下,您需要跨多个图像重复,而不是只在一个图像中.看起来您需要解决的第一个问题是图像分割问题(​​能够从图像的其余部分中拾取球),并且上面链接的第一篇论文涉及分割. (然后,也许你正试图利用这个运动来识别移动的物体?)

这是另一个想法:也许您只能查看连续帧之间的差异,并将其用作您的输入数据的输入数据?然后,输入“图像”将显示移动物体在前一帧中的位置以及它在当前帧中的位置.较大的差异表明运动量较大.这可能与使用循环网络有类似的效果.

点赞