异步RPC(Remote procedure call) 模型图 Server:提供服务的服务,即RPC模型中的Server。 Client:调用服务的服务,即RPC模型中的client。 Client发送消息给服务端,…
标签:队列
RabbitMQ/RPC/TTL/死信队列
当需要调用远端计算机的函数并等待结果,这模式通常被称为远程过程调用或RPC。 BasicProperties: 消息属性 这AMQP协议预先确定了消息中的14个属性。常用的有: deliveryMode 将一个消息标记为…
TCP RPC和HTTP RPC
最近在了解SOA和微服务相关的东西,服务和服务之间都避免不了通信,一般通信分为同步的和异步的。异步的基本都是用消息队列完成,开源的消息队列有很多了,如基于redis的,rabbitmq,kafka,Metaq(Rocke…
分布式爬虫—原理与实现
分布式爬虫,就是…我还是上图吧 先来看scrapy的结构图 原理 image.png 这就是scrapy爬虫框架的流程 从下往上看,Spiders生成的请求经由Scheduler调度器发送给Downloade…
scrapy源码阅读笔记(2) -- scheduler
数据流向 关于Scheduler Scheduler主要负责scrapy请求队列的管理,即进队与出队。进一步来说,会涉及到队列的选择,队列去重,序列化。 属性/方法 功能 描述 df 去重模块 默认利用set在内存去重 …
消息队列的作用以及kafka和activemq的对比
记录下平时使用kafka的姿势。 背景分析 消息队列这个类型的组件一直是非常重要的组件,当经过两家企业后我就很坚信这个结论了。队列这种东西,最广泛的作用还是在于解耦,宽泛一点的说,它可以将不同部门的工作内容进行有效的整合…
你真的懂redis吗?
缓存 我相信大部分互联网应用都是用redis作为缓存的,因为相对于memcached来说,redis的kv结构效率区别不大,并且还有hash这种方便的结构,并且redis还有持久化的能力,可以防止重启机器导致的数据丢失而…
互联网 Java 工程师进阶知识完全扫盲
高并发架构 消息队列 为什么使用消息队列?消息队列有什么优点和缺点?Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么优点和缺点? 如何保证消息队列的高可用? 如何保证消息不被重复消费?(如何保证…
利用Redis和Lua的原子性实现抢红包功能
其实8月的时候就准备搞这个抢红包业务,代替消费后每天固定红包的业务。但后来公司发展需要,希望固定返利维持现状,红包功能戛然而止。写到简书做个记录。 设计思路: 准备3个队列 第一:生成红包队列hongBaoList,比如…
「最全」Java 进阶面试总结
这里有一份面试题相关总结,涉及高并发、分布式、高可用相关知识点,在此分享给大家,希望大家能拿到一份理想的 Offer! 高并发架构 消息队列 为什么使用消息队列?消息队列有什么优点和缺点?Kafka、ActiveMQ、R…
线上运维-memcache timeout
首先介绍一下:netstat netstat有两个重要的指标: recv-Q 表示网络接收队列 表示收到的数据已经在本地接收缓冲,但是还有多少没有被进程取走,recv() 如果接收队列Recv-Q一直处于阻塞状态,可能是…
Redis 队列
队列的实现 举例: 队列主要用在系统解耦、流量削峰、异步处理、数据顺序处理等场景。新手在使用时可能会犯一些常见的错误。下面讲一个新手容易犯的错误,在这个示例中把队列的入队、出队和Redis存储节点的主从关系给混淆了,示例…