keras 基本概念

keras的核心数据结构是模型,模型是一种组织网络层的方式。Keras中主要的模型是sequential模型,其实一系列网络层按顺序构建的栈。

sequential 模型如下:

from keras.models import Sequential
model = Sequential

将一些网络层通过.add()堆叠起来,就构成了一个模型:

from keras.layers import Dense ,Activation
model.add(Dense(Units=64,input_dim=100))
model.add(Activition("relu"))
model.add(Dense(units=10))
model.add(Activation("softmax"))

完成模型的搭建后,我们使用.compile()方法来编译模型:

model.compile(loss="categorical_crossentropy",optimizer="sgd",metrics=['accuracy'])

编译模型的时候必须指定好损失函数与优化器,

from keras.optimizers import SGD
model.compile(loss='categorical_corssentropy',optimizer=SGD(lr=0.01,momentum=0.9,nesterov=T))

完成编译模型之后,我们在训练数据上按照batch进行一定次数的迭代来训练网络

model.fit(x_train,y_train,epochs=5,batch_size=32)

或者使用我们的模型进行预测:

classes=model.predict(x_test,y_test,)

随后我们可以使用一行代码对模型进行评估

loss_and_metrics=model.evaluate(x_test,y_test,batch_size=128)

符号运算

keras模型搭建完毕之后,你得到的只是一个空壳子,只有实际生成可调用的函数之后,输入数据,才会形成真正的数据流

张量 tensor

是tensorflow的基本数据结构以及keras的基本数据结构,其本质上就是高维矩阵

batch

第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习,这称为Batch gradient descent,批梯度下降。
另一种,每看一个数据就算一下损失函数,然后求梯度更新参数,这个称为随机梯度下降,stochastic gradient descent。这个方法速度比较快,但是收敛性能不太好,可能在最优点附近晃来晃去,hit不到最优点。两次参数的更新也有可能互相抵消掉,造成目标函数震荡的比较剧烈。
去,hit不到最优点。两次参数的更新也有可能互相抵消掉,造成目标函数震荡的比较剧烈。
为了克服两种方法的缺点,现在一般采用的是一种折中手段,mini-batch gradient decent,小批的梯度下降,这种方法把数据分为若干个批,按批来更新参数,这样,一个批中的一组数据共同决定了本次梯度的方向,下降起来就不容易跑偏,减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多,计算量也不是很大。
基本上现在的梯度下降都是基于mini-batch的,所以Keras的模块中经常会出现batch_size,就是指这个。
顺便说一句,Keras中用的优化器SGD是stochastic gradient descent的缩写,但不代表是一个样本就更新一回,还是基于mini-batch的。

epochs

epochs指的就是训练过程中数据将被“轮”多少次,就这样。

    原文作者:Liam_ml
    原文地址: https://www.jianshu.com/p/81737e8b9597
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞