我试图写一个神经网络系统,但即使运行简单的AND / OR / NOR类型问题,输出似乎分组约为0.5(偏差为-1)和0.7(偏差为1). 它看起来并不完全“错误”…… AND模式中的1,1看起来确实高于其余部分,而OR…
标签:neural-network
了解GRU架构 – Keras
我正在使用Mycroft AI唤醒字检测,我试图了解网络的维度.以下几行显示了Keras的模型: model = Sequential() model.add(GRU( params.recurrent_units, a…
如何提高模型的泛化能力
本博客纯属个人观点,不喜勿喷,也欢迎大神们留言补充。 我们把提高泛化能力的方法分为4类 数据端 模型端 训练过程 后处理 下面分别从这4个部分进行分类 一、数据端 方法: 1. data augmentati…
神经网络 – 激活函数 – 神经网络
我在空闲时间使用神经网络. 我开发了一个简单的XOR-Operation与神经网络. 但我不知道何时应该使用正确的激活功能. 有诀窍还是只是数学逻辑? 最佳答案 何时使用特定激活功能而不是另一个激活功能的主题是正在进行的…
神经网络 – 时间依赖特征的卷积神经网络
我需要从一系列图像中减少维数.更具体地,每个图像是球移动的快照,并且最佳特征将是其位置和速度.据我所知,CNN是减少图像分类功能的最先进技术,但在这种情况下,只提供了一个帧.在不同的时间步长给出许多图像是否有可能提取时间…
神经网络 – Tensorflow:具有交叉熵的缩放logits
在Tensorflow中,我有一个分类器网络和不平衡的培训课程.由于各种原因,我不能使用重新采样来补偿不平衡的数据.因此,我不得不通过其他方式补偿失衡,特别是根据每个类中的示例数量将logits乘以权重.我知道这不是首选…
神经网络 – NEAT算法:如何交叉不相交和多余的基因?
我目前正在实施Kenneth Stanley开发的NEAT算法,将原始的 paper作为参考. 在描述交叉方法的部分中,有一件事让我感到困惑. 因此,上图说明了NEAT的交叉方法.为了确定一个基因遗传的父母,该论文说明如…
神经网络 – Caffe:Softmax随温度变化
我正在努力实施Hinton的知识蒸馏 paper.第一步是存储具有更高温度的“笨重模型”的软目标(即我不需要训练网络,只需要对每个图像进行前向传递和存储温度为T的软目标. 有没有办法可以获得Alexnet或googlen…
tensorflow – 如何创建专门的机器视觉OCR解决方案?
我们需要阅读iPad相机拍摄的销售收据照片中的一些文字.这是一个类似于我们需要阅读的示例: 这个问题有一些限制: >我们需要读取文本标记后总是出现的总量(例如本例中的Grand Total).>字体始终相同.…
神经网络 – 卷积神经网络:每个滤波器将覆盖多少像素?
如何计算网络中每个过滤器所覆盖的区域(原始图像中)? 例如可以说图像的大小是WxW像素.我使用以下网络: layer 1 : conv : 5x5 layer 2 : pool : 3x3 layer 3 : conv …
神经网络 – keras损失在新纪元开始时随机跳跃到零
我正在训练一个网络,它有多个损失,并且使用生成器创建数据并将数据输入网络. 我已经检查了数据的结构,它看起来很普遍,并且它在大多数时间也按预期进行训练,但几乎每次都在随机时期,每次预测的训练损失突然从 # End of …
神经网络 – TensorFlow中的选择性零权重?
假设我有一个NxM权重可变权重和一个1s和0s掩码的常量NxM矩阵. 如果我的网络层是这样定义的(其他层类似地定义): masked_weights = mask*weights layer1 = tf.relu(tf.…