想爬点数据来玩玩, 我想最方便的工具就是Python scrapy了。 这框架把采集需要用到的功能全部封装好了,只要写写采集规则,其他的就交给框架去处理,非常方便,没有之一,不接受反驳。:) 网上学习资源非常丰富,我这里…
标签:后端开发
【每日学习记录】使用录像设备记录每天的学习
在这里使用学而思网校的录像设备,记录每天学习的内容: 2019-04-22 ~ 2019-04-26 04-24 协程初步讨论 by 王澍 04-23 【Redis源码】dict by 李乐 04-22 【Redis源码…
mongoose再认识(二)
在开发中,除了使用mongoose进行一些基本的操作外,就是一些技巧的使用。 文章接续mongoose再认识(一),下文中使用代码可参考这篇文章中的。 虚拟字段 虚拟字段,从字面意思就可以明白,它不是真正的字段,不存在与…
Disruptor 实践:整合到现有的爬虫框架
一. Disruptor Disruptor 是一个高性能的异步处理框架。 Disruptor 是 LMAX 在线交易平台的关键组成部分,LMAX平台使用该框架对订单处理速度能达到600万TPS,除金融领域之外,其他一般…
【Java入门】SpringBoot自动配置原理
作者:谭淼 一、运行原理 Spring Boot的运行是由注解@EnableAutoConfiguration提供的。 @Target({ElementType.TYPE}) @Retention(RetentionPo…
Python 进阶之路 (二) Dict 进阶宝典,初二快乐!
新年快乐 大家好,今天是大年初二,身在国外没有过年的氛围,只能踏实写写文章,对社区做点贡献,在此祝大家新年快乐!上一期为大家梳理了一些List的进阶用法,今天我们来看字典Dict的相关技巧,我个人在编程中对字典的使用非常…
新手最容易犯的错误: 几种方法实现的反模式
下面的几种反模式, 是我在带团队时发现的最常见错误. 希望对大家有用. 看起来很简单, 但是如果能避免的话, 你的代码的读者(90%情况下是你自己)会特别感谢你的! ! 不要使用隐形的参数(声明在函数外部的变量) 下面的…
实现一个分布式调度系统-RPC(下)
上一篇介绍了如何通过hadoop-common里面自带的RPC来实现我们的功能 https://www.imooc.com/article/275335 那么我们怎么自己来实现一个RPC功能,应用到我们的调度系统中呢? …
java并发编程之 java线程基本概念
阅读建议 最好使用电脑观看。 如果你非要使用手机观看,那请把字体调整到最小,这样观看效果会好一些。 碎片化阅读并不会得到真正的知识提升,要想有提升还得找张书桌认认真真看一会书,或者我们公众号的文章。 如果觉得不错,各位帮…
Python 模块源码分析:queue 队列
起步 queue 模块提供适用于多线程编程的先进先出(FIFO)数据结构。因为它是线程安全的,所以多个线程很轻松地使用同一个实例。 源码分析 先从初始化的函数来看: class Queue: def __init__(s…
教你不编程快速解析 JSON 数据
公从号:良许Linux 世界500强外企 Linux 开发工程师,专业生产 Linux 干货 JSON 是一种轻量级的,不受语言约束的数据存储格式,大部分编程语言都可以解析它,并且对编程人员也十分友好。我们在进行通讯/数…
Velocity模版进行shiro验证
先在Spring配置Velocity视图解析器 <!-- Velocity视图解析器 默认视图 --><bean id="velocityViewResolver…