Python学习 三 01 再爬一个网站,几行代码,搞定分类类别

前文,下载了一个图片网站,但是素材还是不够,我希望的是GIF素材,所以又找了一个网站。

下载这些图片的目的,是在进行动图创作、视频编辑的时候,感到素材太少,所以需要爬以下,获得一些素材。

分享之前我还是要推荐下我自己建的Python开发学习群:628979297,群里都是学Python开发的,如果你正在学习Python ,小编欢迎你加入,今天分享的这个案例已经上传到群文件,大家都是软件开发党,不定期分享干货(只有Python软件开发相关的),包括我自己整理的一份2018最新的Python进阶资料和高级开发教程,欢迎进阶中和进想深入Python的小伙伴。

如果喜欢视频编辑的话,可以下载我的另一款软件:任性小视频

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

根据主类别,创建本地目录,

将主类别对应的网址,下载下来

看网页源码

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

创建好的主类别如下

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

代码如下:

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

目前,我们将主类别创建成功了,而且主类别目录下,是其对应的网页

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

下图为主类别网页

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

网页源码如下:

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

子类别位于class=cat的DIV下

标签的对应的类 class=”sidebar-letter”

下面,我们加载这个主类别网页,然后,在这个网页中搜寻子类别信息

首先获得gif目录下的所有子文件夹

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

然后获得子目录下存放的TXT网页,对此网页进行解析,获得所需的子类别信息,

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

代码:

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

最后,根据子类别信息,创建子类别目录,及子类别对应的网页

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

至此,我们将原网站中对应的类别信息,已经下载下了。

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

代码:

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

注意了,前面写的那么多,要废除了,但是前面也并不是一点作用也没有,而是为了更好的分析

很多时候就这样,并不能一下子就找到正确的方法,就是要在不断的调试,不断的分析后,才能找到更好的策略

我发现,这个网站,并不是严格的几层分类,分类层数不一定,又仔细看了下源码,不管是主分类网页,还是次分类网页,他们的div的类别都是相同的。

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

而A分类下的子类别accordions下,可能还有子分类,也可能没有子分类。

判断accordions下还没有子分类的方式:

下载网页

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

看看此网页中是否还有

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

如果还有,则继续创建类别

这是一个递归创建的过程,所以我将上面的程序重新推到,重新写了个递归算法。

用这几句代码,就可以正确的创建网站类别了。

《Python学习 三 01 再爬一个网站,几行代码,搞定分类类别》

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

    原文作者:Python爬虫学习
    原文地址: https://www.jianshu.com/p/f7691b87780b
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞