接到组长需求,在某个网站上搜索“附件”,后下载所有相关文章内的 附件.word 或 附件.pdf 思路: Files Pipeline 在某个Spider中,你爬取一个item后,将相应的文件URL放入file_urls…
标签:字段
Scrapy 模拟登录新版知乎
写这篇文章是因为知乎登录已经改版了,新版登录和老版登录区别还是挺大了,新版登录的 post 请求减少了一些字段的同时新增了一些字段,而且新增的字段如 signature 的值是通过一些算法得到的,比较难处理,因此记录一下…
Excel导入SQL Server字段多空格
Excel导入SQL Server字段多空格,造成主键实际数据多个空格,造成数据无法定位 通过select top 1000 ,复制结果界面中的字段,粘贴到 ” 中间发现多一个空格。 使用代码去除 DECLA…
SQL SERVER行列转换
行列转换 要用到SQL SERVER CASE [字段名] WHEN ‘字段名’ THEN [字段的数据值] ELSE 0 END CASE WHEN [字段名] = ‘字段名’ THEN [字段的数据值] ELSE 0…
小米和京东的4道关于Dubbo、Zookeeper等的面试题
1. 列举至少3个Mysql的具体优化? (1)适当的对表里的字段建立索引 索引是提高数据库性能的常用方法,它可以令数据库服务器以比没有索引快得多的速度检索特定的行。但是索引不能随便建立,具体建立索引的地方,建议如下: …
MongoDB字段类型及转换
字段类型判断 db.tb_name.find({"status":{$type:"double"}).count() //所有的status字段类型为Double类型的 db.tb_name.find({"status"…
MongoDB 动态字段设计
适宜读者人群 MongoDB开发者 基础需求 产品: “我们要为现有的表单增加一个伟大的功能, 允许用户增加想要的字段” 技术目标version 1 存储动态表单数据(新增字段无需修改Schema…
MongoDB 分组统计的几种实现方法
最近捞了一些数据出来,要进行分组统计,统计A字段中相同值的个数。 我使用的是mongoose进行操作。 由于不太熟悉MongoDB的操作,走了不少弯路,之前记得是可以用 aggregate 方法进行分组统计,结果吃了菜鸟…
MongoDB开发系列:从数据集合的设计开始
MongoDb中集合概念就是关系型数据库中的表,本文讨论的内容主要集中在MongoDb数据库库设计集合时关键原则和常见的设计误区。 第一条准则 抛弃关系型数据库设计的范式约束,摒弃关联查询。先考虑内嵌形式,再考虑引用,视…
MongoDB(projection字段筛选)
db.users.find({},{projection}) 注意:filter实现的是筛选出 某条数据,projection实现的是筛选出某条数据的具体字段 筛选含age字段的数据并显示(只显示age字段) db.us…
Mongodb 全文索引(搜索 中文)
mongodb 要说的太多了。我还是捡几个重要的记录下吧,本文是基于db version v3.2.11的版本说的,也是参照官网写的。 附上官网地址 https://docs.mongodb.com/manual/ind…
mongoDB入门二
索引 索引能够使得MongoDB更高效得执行查询。如果没有索引,MongoDB必须执行集合扫描,即扫描集合中的每个文档,以选择与查询语句匹配的文档。如果查询存在适当的索引,MongoDB可以使用索引来直接处理索引对应的文…