古道长亭

Contact me with ixiaoqiang0011@gmail.com


  • 首页

  • 归档

  • 分类

  • 关于

  • Book

  • 搜索

Kafka高级特性

时间: 2023-06-15   |   分类: Kafka   消息队列   | 字数: 36871 字 | 阅读约: 74分钟

Kafka高级特性

1. 生产者

1.1 消息发送

  • 数据生产流程解析

    1.Producer创建时,会创建⼀个Sender线程并设置为守护线程。
    2.⽣产消息时,内部其实是异步流程;⽣产的消息先经过拦截器->序列化器->分区器,
    	然后将消息缓存在缓冲区(该缓冲区也是在Producer创建时创建)。
    3.批次发送的条件为:缓冲区数据⼤⼩达到batch.size或者linger.ms达到上限,哪个先达到就算哪个。
    4.批次发送后,发往指定分区,然后落盘到broker;如果⽣产者配置了retrires参数⼤于0并且失败原因允许重
    	试,那么客户端内部会对该消息进⾏重试。
    5.落盘到broker成功,返回⽣产元数据给⽣产者。
    6.元数据返回有两种⽅式:⼀种是通过阻塞直接返回,另⼀种是通过回调返回。
    
  • 必要参数配置

阅读全文 »

Kafka架构与实战

时间: 2023-06-14   |   分类: Kafka   消息队列   | 字数: 7001 字 | 阅读约: 14分钟

Kafka架构与实战

1. 概念和基本架构

1.1 介绍

Kafka是最初由Linkedin公司开发,是⼀个分布式、分区的、多副本的、多⽣产者、多订阅者,基于zookeeper协调的分布式⽇志系统(也可以当做MQ系统),常⻅可以⽤于web/nginx⽇志、访问⽇志,消息服务等等,Linkedin于2010年贡献给了Apache基⾦会并成为顶级开源项⽬。

阅读全文 »

集群与运维

时间: 2023-06-13   |   分类: RabbitMQ   消息队列   | 字数: 6954 字 | 阅读约: 14分钟

集群与运维

1. 集群方案原理

常见方式:

主备模式, 主从模式, 主主模式, 分片集群, 异地多活

常见负载均衡算法:

随机, 轮询, 加权轮询, 最少活跃, 一致性hash…..

阅读全文 »

RabbitMQ高级特性

时间: 2023-06-12   |   分类: RabbitMQ   消息队列   | 字数: 7444 字 | 阅读约: 15分钟

RabbitMQ高级特性

1. 消息可靠性

例: 我们平时使用的支付等, 支付平台必须保证数据正确性,保证数据并发安全性,保证数据最终一致性

平台会通过以下方式:

  • 分布式锁

  • 消息队列

    消息队列是为了保证最终一致性,我们需要确保消息队列有ack机制 客户端收到消息并消费处理完成后,客户端发送ack消息给消息中间件 如果消息中间件超过指定时间还没收到ack消息,则定时去重发消息

阅读全文 »

RabbitMQ架构与实战

时间: 2023-06-11   |   分类: RabbitMQ   消息队列   | 字数: 5864 字 | 阅读约: 12分钟

RabbitMQ架构与实战

1. 简介,概念,基本架构

1.1 简介

RabbitMQ,俗称“兔子MQ”(可见其轻巧,敏捷),是目前非常热门的一款开源消息中间件,不管是互联网行业还是传统行业都广泛使用(最早是为了解决电信行业系统之间的可靠通信而设计)。

阅读全文 »
5 6 7 8 9 10 11 12 13
古道长亭

古道长亭

Always remember that your present situation is not your final destination. The best is yet to come.

226 日志
57 分类
104 标签
GitHub Gitee
友情链接
  • 古道长亭的BOOK
  • JAVA学习
标签云
  • Mysql
  • 搜索引擎
  • Mybatis
  • 容器
  • 架构
  • 消息队列
  • Flink
  • Sharding sphere
  • 流处理
  • 缓存
© 2019 - 2024 京ICP备19012088号-1
0%