总体上看,这篇文章的主要贡献包含两块: 网络使用 AlexNet + 自编码器 进行预训练,该初始化方法的结果要优于 AlexNet+ImageNet的初始化,作者解释原因为: AlexNet + 自编码器 的方法让网络…
分类:深度学习
深度学习和浅层学习 Deep Learning and Shallow Learning
由于 Deep Learning 现在如火如荼的势头,在各种领域逐渐占据 state-of-the-art 的地位,上个学期在一门课的 project 中见识过了 deep learning 的效果,最近在做一个东西的时…
mxnet 实现 sqeezenet
sqeezenet 是一种参数压缩的方式, 模型小了很多, 但是计算没有减少太多. paper: http://arxiv.org/abs/1602.07360 github: https://github.com/De…
CS231n (winter 2016) : Assignment2
前言: 以斯坦福cs231n课程的python编程任务为主线,展开对该课程主要内容的理解和部分数学推导。建议PC端阅读,该课程的学习资料和代码如下: 视频和PPT 笔记 assignment2初始代码 Part 1:深层…
层规范化技术 Layer Normalisation
Neil Zhu,简书ID Not_GOD,University AI 创始人 & Chief Scientist,致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标,带领团队快速成长为人工智…
谈谈Tensorflow的Batch Normalization
tensorflow中关于BN(Batch Normalization)的函数主要有两个,分别是: tf.nn.moments tf.nn.batch_normalization 关于这两个函数,官方API中有详细的说明…
CS231n (winter 2016) : Assignment1
前言: 以斯坦福cs231n课程的python编程任务为主线,展开对该课程主要内容的理解和部分数学推导。该课程的学习资料和代码如下: 视频和PPT 笔记 assignment1初始代码 Part 1: 线性分类器(Lin…
Setup TensorFlow Dev-Env on Mac OS X
[A Neural Algorithm of Artistic Style](http://arxiv.org/abs/1508.06576) setup tensorflow on OS X and run an in…
端到端的OCR:LSTM+CTC的实现
前面提到了用CNN来做OCR。这篇文章介绍另一种做OCR的方法,就是通过LSTM+CTC。这种方法的好处是他可以事先不用知道一共有几个字符需要识别。之前我试过不用CTC,只用LSTM,效果一直不行,后来下决心加上CTC,…
端到端的OCR:基于CNN的实现
OCR是一个古老的问题。这里我们考虑一类特殊的OCR问题,就是验证码的识别。传统做验证码的识别,需要经过如下步骤: 1. 二值化 2. 字符分割 3. 字符识别 这里最难的就是分割。如果字符之间有粘连,那分割起来就无比痛…
Operators in MXNet
Operators in MXNet MXNet 中的 operator 是一个既包含了实际的计算也包含了一些附加信息的 class, 这些附加信息可以帮助我们的系统来实现原地更新和自动微分等优化. 在在继续这篇文档之前…
学习资料参考:从深度学习到自然语言处理
学习资料参考:从深度学习到自然语言处理 </br> 注意:本文已经更新,新版结合深度学习简介和发展历程,给出了更详尽的学习资料参考。新版链接:深度学习简介与学习资料参考 本文主要介绍一些与神经网络和自然语言处…