在深度学习中，自编码器是非常有用的一种无监督学习模型。自编码器由encoder和decoder组成，前者将原始表示编码成隐层表示，后者将隐层表示解码成原始表示，训练目标为最小化重构误差，而且一般而言，隐层的特征维度低于原始特征维度。

自编码器只是一种思想，在具体实现中，encoder和decoder可以由多种深度学习模型构成，例如全连接层、卷积层或LSTM等，以下使用Keras来实现用于图像去噪的卷积自编码器。

1 结果

先看一下最后的结果，使用的是手写数字MNIST数据集，上面一行是添加噪音的图像，下面一行是去噪之后的结果。

去噪效果.png

2 代码

使用Keras来实现自编码器，encoder和decoder使用CNN来实现。

加载Keras和numpy。

from keras.datasets import mnist
import numpy as np复制代码

获取数据集MNIST，将像素点值转化到0-1区间，并且重塑为N×1×28×28的四维tensor。

(x_train, _), (x_test, _) = mnist.load_data()
x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
x_train = np.reshape(x_train, (len(x_train), 1, 28, 28))
x_test = np.reshape(x_test, (len(x_test), 1, 28, 28))复制代码

添加噪声，即叠加一个随机的高斯白噪声，并限制加噪之后的值仍处于0-1区间。

noise_factor = 0.5
x_train_noisy = x_train + noise_factor * np.random.normal(loc=0.0, scale=1.0, size=x_train.shape) 
x_test_noisy = x_test + noise_factor * np.random.normal(loc=0.0, scale=1.0, size=x_test.shape) 
x_train_noisy = np.clip(x_train_noisy, 0., 1.)
x_test_noisy = np.clip(x_test_noisy, 0., 1.)复制代码

看一下加噪之后的结果。

import matplotlib.pyplot as plt
n = 10
plt.figure(figsize=(20, 2))
for i in range(n):
    ax = plt.subplot(1, n, i + 1)
    plt.imshow(x_test_noisy[i].reshape(28, 28))
    plt.gray()
    ax.get_xaxis().set_visible(False)
    ax.get_yaxis().set_visible(False)
plt.show()复制代码

画出来是这个样子的。

加噪后的数字.png

定义模型的输入。

input_img = Input(shape=(1, 28, 28))复制代码

定义encoder部分，由两个32×3×3的卷积层和两个2×2的最大池化层组成。

x = Convolution2D(32, 3, 3, activation='relu', border_mode='same')(input_img)
x = MaxPooling2D((2, 2), border_mode='same')(x)
x = Convolution2D(32, 3, 3, activation='relu', border_mode='same')(x)
encoded = MaxPooling2D((2, 2), border_mode='same')(x)复制代码

定义decoder部分，由两个32×3×3的卷积层和两个2×2的上采样层组成。

# at this point the representation is (32, 7, 7)
x = Convolution2D(32, 3, 3, activation='relu', border_mode='same')(encoded)
x = UpSampling2D((2, 2))(x)
x = Convolution2D(32, 3, 3, activation='relu', border_mode='same')(x)
x = UpSampling2D((2, 2))(x)
decoded = Convolution2D(1, 3, 3, activation='sigmoid', border_mode='same')(x)复制代码

将输入和输出连接起来，构成autoencoder并compile。

autoencoder = Model(input_img, decoded)
autoencoder.compile(optimizer='adadelta', loss='binary_crossentropy')复制代码

使用x_train作为输入和输出来训练我们的autoencoder，并使用x_test进行validation。

autoencoder.fit(x_train_noisy, x_train, nb_epoch=100, batch_size=128, shuffle=True, validation_data=(x_test_noisy, x_test))复制代码

使用autoencoder对x_test预测，并将预测结果绘制出来，和原始加噪图像进行对比。

decoded_imgs = autoencoder.predict(x_test_noisy)

import matplotlib.pyplot as plt

n = 10
plt.figure(figsize=(20, 4))
for i in range(n):
    # display original
    ax = plt.subplot(2, n, i + 1)
    plt.imshow(x_test_noisy[i].reshape(28, 28))
    plt.gray()
    ax.get_xaxis().set_visible(False)
    ax.get_yaxis().set_visible(False)

    # display reconstruction
    ax = plt.subplot(2, n, i + 1 + n)
    plt.imshow(decoded_imgs[i].reshape(28, 28))
    plt.gray()
    ax.get_xaxis().set_visible(False)
    ax.get_yaxis().set_visible(False)
plt.show()复制代码

这样便可以生成一开始看到的结果了，完整代码在这里。

3 其他内容

除了以上用于去噪的卷积自编码器，这里还有其他几个代码：

• 1_simplest_possible_autoencoder：分别仅使用一层Dense作为encoder和decoder构成自编码器，并对MNIST数据集训练和重构，50 epoch之后loss为0.1068，val_loss为0.1051；
• 2_deep_autoencoder：encoder和decoder从一层Dense增加到三层Dense，100 epoch之后loss为0.0974，val_loss为0.0966；
• 3_convolutional_deep_autoencoder：encoder和decoder分别由CNN实现，100 epoch之后loss为0.0958，val_loss为0.0946；
• 4_denoising_autoencoder：即以上详细讨论的去噪卷积自编码器；
• 5_variational_autoencoder（VAE）：隐层添加额外的限制，即训练目标为最小化重构误差，以及隐层表示分布和原始表示分布的交叉熵（KL Divergence）。

其中最后一个代码中的VAE将MNIST的原始图像数据映射到了一个二维的隐层，下面是隐层表示中的聚类结果，可以看到在隐层的表示空间中，相同数字所对应的图像汇聚到了一起。

隐层空间聚类.png

如果将隐层中的点解码到原始的图像表示空间，则各个聚类中心会出现对应的数字，而类和类之间的位置则会出现“新的数字”，即不同数字之间的过渡形态。

过渡态数字.png

如果觉得文章不错，不妨点一下左下方的喜欢～