想上热门榜单?看Python程序猿怎么做的!

今天打开了手机,看到了许许多多的排行榜,其中看到我的步数竟然又少于隔壁老王,我一想这不行,我得弄个刷排行榜的程序来超过他,经过一段时间的构思,我决定做个更全面的,直接做个能刷全部排行榜的神器,以后就在也不怕跟别人比排名了,嘿嘿嘿!

《想上热门榜单?看Python程序猿怎么做的!》

大家想不想刷排行榜?

如果答案是肯定的,就别再犹豫了,快来动手吧!

背景

theano 是一个python语言的库,实现了一些机器学习的方法,最大的特点是可以就像普通的python程序一样透明的使用GPU

《想上热门榜单?看Python程序猿怎么做的!》
《想上热门榜单?看Python程序猿怎么做的!》
《想上热门榜单?看Python程序猿怎么做的!》

输入数据修改

原来是从cPickle导入:

《想上热门榜单?看Python程序猿怎么做的!》

valid_set是用来在SGD迭代过程中,用来验证效果但不参与训练的数据集。每次只有确定在valid_set上更有效,才继续进行目标函数的优化,这样可以防止过拟合。参见early-stopping [2] 。

设定数据集的大小,如果是调试模式则减小数据集。

《想上热门榜单?看Python程序猿怎么做的!》

MNIST共有7w条记录,其中6w是训练集,1w是测试集。theano的样例程序就是这么做的,但kaggle把7w的数据分成了两部分,train.csv一共42000行,test.csv一共28000行。实际可用来训练的数据只有42000行(由此估计最后的效果也会有相应的折扣)。theano把6w的训练集分为了5w的test_set和1w的valid_set,我在这里把42000行数据分为36000的train_set、5000行的valid_set和1000行的test_set(训练时用不到)。

《想上热门榜单?看Python程序猿怎么做的!》
《想上热门榜单?看Python程序猿怎么做的!》
《想上热门榜单?看Python程序猿怎么做的!》

我们需要的是最后一层的输出,theano的样例程序在最后一层lr给了我们一个符号变量y_pred,定义如下:

《想上热门榜单?看Python程序猿怎么做的!》

我对技术不敬畏,对不起各位了。

这样我们就得到可以操作的数组,写入输出文件:

《想上热门榜单?看Python程序猿怎么做的!》

平移数据

以上可以差不多达到1.0%的误差,和理论值0.5%还有差距,我觉得可能是因为数据不够多,所以我对输入输出数据进行了平移预处理。 输入数据平移:

《想上热门榜单?看Python程序猿怎么做的!》
《想上热门榜单?看Python程序猿怎么做的!》

ok,万事俱备,刷榜吧!

运行结果

kaggle传送门

valid_set_error=0.90 test_set_error=0.68

《想上热门榜单?看Python程序猿怎么做的!》

刷到前10,我感觉可以了,再往上刷10名就要被怀疑作弊了。

不明觉厉

simple cell到complex cell是怎么实现的?

拿着某一斜率的filter去扫一遍全局的图像

把图像分割成nxn份,做pooling(可以是max pooling)

《想上热门榜单?看Python程序猿怎么做的!》
《想上热门榜单?看Python程序猿怎么做的!》

以上就是本文的全部内容,希望对各位小伙伴们有所帮助!

写在最后:

有想学Python或者对Python感兴趣的老铁,可以加群571799375,群里有适合Python初学者学习的资料(2018最新版Python资料),免费送给大家!

本文来自网络,如有侵权,请联系小编删除!

    原文作者:松珏
    原文地址: https://www.jianshu.com/p/8f1157fe365c
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞