一个简单的例子:给定输入序列,我希望神经网络输出序列的中值.问题是,如果神经网络学会计算n个输入的中位数,它如何计算更多输入的中位数?我知道循环神经网络可以学习序列上的最大值和奇偶校验等函数,但计算这些函数只需要恒定的内存.如果内存需求随着输入大小的增加而增加,例如计算中位数,会怎样
这是How are neural networks used when the number of inputs could be variable?的后续问题.
最佳答案 我有一个想法如下:将每个权重视为输入数量的函数而不是固定值.因此权重可能有许多定义函数的参数,我们训练这些参数.例如,如果我们希望神经网络计算n个输入的平均值,我们希望每个权重函数的行为类似于1 / n.同样,平均本身可以使用递归神经网络或隐马尔可夫模型来计算,但我希望这种方法可以推广到解决内存需求增长的某些问题.