今天教大家一个下载B站视频的方法。 非常简单，打开浏览器，输入一个网址：https://ctb.qianhetui.com/index.php 就可以在这个网站上进行下载啦。

如今的页面大部份都是经由过程Js衬着来显现页面的，也就是假如不转动到页面底部就没法猎取全部页面的HTML源码，假如经由过程CURL等抓取网页那末基本上抓取到都是一堆javascript代码。 所以就有了webkit爬虫，…

Robots协议是互联网爬虫的一项公认的道德规范，它的全称是“网络爬虫排除标准”（Robots exclusion protocol），这个协议用来告诉爬虫，哪些页面是可以抓取的，哪些不可以。 如何查看网站的robots…

编译器：pycharm 原始数据：json 快速格式化方法： ①建立json文件 在pycharm上创建一个.json的文件，如hello.json ②将json数据粘贴到.json文件中 以下是一段json格式数据，可…

Cookie 一、什么是Cookie？ 1、Cookie 是浏览器访问服务器后，服务器传给浏览器的一段数据 2、浏览器需要保存这段数据，不得轻易删除 3、此后每次浏览器访问该服务器，都必须带上这段数据。但是，如果Cook…

3. 1子节点和子孙节点 soup.body.h1# 选中body 标签下的h1，这个h1 标签是body标签的子节点 同理，soup.div.find_all(‘img’)会找到所有div里面的…

前言 初学Python时，总是被python的两个不太兼容的版本搞得头昏脑胀。按目前的发展趋势，python未来的主流版为python3。但是我们经常会遇到一些很有意思代码使用的是python2版本。于是我们需要同时拥有…

黑板客第三关 第三关和之前两关又多了点东西， 首先需要注册一个账号 然后才能尝试去闯关 测试帐号:username:test;password:test123 这一关的登录以及获取页面使用 webdriver比较方便 试…

根据相关政策规定，国内比特币交易将于2017年9月底关闭，但这几年里，比特币交易的历史行情数据，可能对日后用于研究经济、金融以及量化交易策略等都有重大的价值，因此，这篇文章主要讲述如何通过 Python 从交易平台提供的…

爬上海证券网的大标题和top-topic。使用的是beautifulsoup。 过程中遇到的问题 网页结构不难，我希望能得到网页中所有的大标题–》就是<h1/>标签中的标题和top-toptic中…

代码已经不可用！token也不能用了！需要数据请联系微信bcdata 这里的代码并不是最新的，请到https://github.com/derekhe/bike-crawler获取最新代码 该爬虫为单车地图的Python…

scrapy+redis实现分布式爬虫 前言介绍 分布式爬虫又可以称为集群爬虫，和单点爬虫不同的是分布式爬虫可以实现多台机器同时运行，速度更快也能避免反爬虫机制对ip检测封锁，而且能随时停止和运行，自动url去重（这意味…