Scrapy爬虫的使用步骤 步骤1:创建一个工程和Spider模板 步骤2:编写Spider 步骤3:编写Item Pipeline 步骤4:优化配置策略 Scrapy的数据类型 Request类 Response类 I…
标签:步骤
Scrapy的基本使用(一)
产生步骤(一) 应用Scrapy爬虫框架主要时编写配置型代码 步骤1:建立一个Scrapy爬虫工程 选取一个目录(G:\pycodes\),然后执行以下命令 生成的工程目录: 产生步骤(二) 步骤2:在工程中生成一个Sc…
爬虫笔记14-股票数据scrapy爬虫
Scrapy爬虫支持多种HTML信息提取方法 BeautifulSoup lxml re XPath Selector CSS Selector 对于spider来讲,有很多种信息处理方法,下面介绍CSS Selecto…
Jenkins+ant+jmeter入门篇(三)
转自:http://www.jianshu.com/p/95910602a82f 完成上期布置的作业 自动删除多余的html、jtl文件 其实还是蛮简单的,唯一注意的就是自己的Jenkins运行环境就可以了,我刚刚就吃了…
Jenkins邮件、节点、配置问题整理
以下坑点,正常情况下不按步骤去做,文中步骤只是为了复现课堂上同学们遇到的问题。 一号坑、 邮件配置测试不通过 步骤1:打开jenkins系统,点击“系统管理“—“系统设置”页面; 步骤2:配置“Extended E-ma…
CentOS7下安装配置Jenkins
前言 最近学习Jenkins,第一步就是安装Jenkins了,有相关的文档也看到官网上有详细的安装步骤内心满是欢喜觉得一定是很顺利就可以安装上,过程中“惊喜”不断。 步骤 前提:安装jenkins…
Jenkins+ant+jmeter小白入门篇(三)
完成上期布置的作业 自动删除多余的html、jtl文件 其实还是蛮简单的,唯一注意的就是自己的Jenkins运行环境就可以了,我刚刚就吃了亏了,增加构建步骤的时候总是选择shell脚本,总是不行,后来冷静下来恍然大悟,我…
Retrofit2.0
前言 这篇文章还是老规矩,目的很明确就是掌握用法,一些基础的语法会穿插在掌握用法的例子中,力求花最少的时间上手Retrofit2.0。 进入正题 build.gradle中添加Retrofit2.0依赖 dependen…
Windows 平台安装 MongoDB教程
1.MongoDB下载 链接: https://pan.baidu.com/s/1dRZw748Lui_r9kE5aYwZFA 密码: 9yj6 此文件只适用于64位系统安装,32位系统请自己上官网下载。 2.安装步骤 …
MongoDB 安装教程
前言: MongoDB是一个基于分布式文件存储的数据库。由C++旨在为WEB应用提供可扩展的高性能数据存储解决方案。 官方网站:https://www.mongodb.com/ 本次教程只针对windows系统 步骤一:…
redis-主从复制(配置)
主从复制:当主服务器有写入/删除/修改数据动作,从服务器会自动同步 image.png 主服务器设置 步骤1:打开配置文件,命令:vi /php/server/redis/redis.conf 步骤2:开启后台启动,操…
【PS教程】打造人物图片分解消失的效果
最终效果: 步骤1、在ps中创建一个新文档(最好保持垂直形状并且有透明的背景),设置参照下图: 步骤2、需要找一张多云的阴天图像来作为背景图和一张人物图片,背景图要保证看上去很阴沉,符合作品所要表达的情绪。如下图: 步骤…