异步RPC（Remote procedure call） 模型图 Server：提供服务的服务，即RPC模型中的Server。 Client：调用服务的服务，即RPC模型中的client。 Client发送消息给服务端，…

当需要调用远端计算机的函数并等待结果，这模式通常被称为远程过程调用或RPC。 BasicProperties： 消息属性 这AMQP协议预先确定了消息中的14个属性。常用的有： deliveryMode 将一个消息标记为…

最近在了解SOA和微服务相关的东西，服务和服务之间都避免不了通信，一般通信分为同步的和异步的。异步的基本都是用消息队列完成，开源的消息队列有很多了，如基于redis的，rabbitmq，kafka，Metaq(Rocke…

分布式爬虫，就是…我还是上图吧 先来看scrapy的结构图 原理 image.png 这就是scrapy爬虫框架的流程 从下往上看，Spiders生成的请求经由Scheduler调度器发送给Downloade…

数据流向 关于Scheduler Scheduler主要负责scrapy请求队列的管理，即进队与出队。进一步来说，会涉及到队列的选择，队列去重，序列化。 属性／方法 功能 描述 df 去重模块 默认利用set在内存去重 …

记录下平时使用kafka的姿势。 背景分析 消息队列这个类型的组件一直是非常重要的组件，当经过两家企业后我就很坚信这个结论了。队列这种东西，最广泛的作用还是在于解耦，宽泛一点的说，它可以将不同部门的工作内容进行有效的整合…

缓存 我相信大部分互联网应用都是用redis作为缓存的，因为相对于memcached来说，redis的kv结构效率区别不大，并且还有hash这种方便的结构，并且redis还有持久化的能力，可以防止重启机器导致的数据丢失而…

高并发架构 消息队列 为什么使用消息队列？消息队列有什么优点和缺点？Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么优点和缺点？ 如何保证消息队列的高可用？ 如何保证消息不被重复消费？（如何保证…

其实8月的时候就准备搞这个抢红包业务，代替消费后每天固定红包的业务。但后来公司发展需要，希望固定返利维持现状，红包功能戛然而止。写到简书做个记录。 设计思路： 准备3个队列 第一：生成红包队列hongBaoList，比如…

这里有一份面试题相关总结，涉及高并发、分布式、高可用相关知识点，在此分享给大家，希望大家能拿到一份理想的 Offer！ 高并发架构 消息队列 为什么使用消息队列？消息队列有什么优点和缺点？Kafka、ActiveMQ、R…

首先介绍一下：netstat netstat有两个重要的指标： recv-Q 表示网络接收队列 表示收到的数据已经在本地接收缓冲，但是还有多少没有被进程取走，recv() 如果接收队列Recv-Q一直处于阻塞状态，可能是…

队列的实现 举例： 队列主要用在系统解耦、流量削峰、异步处理、数据顺序处理等场景。新手在使用时可能会犯一些常见的错误。下面讲一个新手容易犯的错误，在这个示例中把队列的入队、出队和Redis存储节点的主从关系给混淆了，示例…