当前位置:首页 > 科技  > 软件

面试官:对于 MQ 中的消息丢失你是如何理解的?

来源: 责编: 时间:2024-06-06 17:39:06 83观看
导读相信很多的小伙伴在面试的时候,涉及到MQ的面试题,消息丢失是必问面试题之一。那么对于消息丢失你又是如何理解的呢?下面我们一起来看一下。本文以 Kafka 举例说明。一、什么是消息丢失?消息丢失的定义是:在消息传递的过程

相信很多的小伙伴在面试的时候,涉及到MQ的面试题,消息丢失是必问面试题之一。那么对于消息丢失你又是如何理解的呢?GLR28资讯网——每日最新资讯28at.com

下面我们一起来看一下。GLR28资讯网——每日最新资讯28at.com

本文以 Kafka 举例说明。GLR28资讯网——每日最新资讯28at.com

GLR28资讯网——每日最新资讯28at.com

GLR28资讯网——每日最新资讯28at.com

一、什么是消息丢失?

消息丢失的定义是:在消息传递的过程中,在某个环节意外丢失,也就是消息没有成功的发送或者没有被正确的接收。GLR28资讯网——每日最新资讯28at.com

生产者未能成功发送消息。GLR28资讯网——每日最新资讯28at.com

GLR28资讯网——每日最新资讯28at.com

消费者未能正确接收消息。GLR28资讯网——每日最新资讯28at.com

GLR28资讯网——每日最新资讯28at.com

消费者未能正确处理消息。GLR28资讯网——每日最新资讯28at.com

GLR28资讯网——每日最新资讯28at.com

对于第三条可以理解为特殊的消息丢失,因为消费者的逻辑处理错误,程序bug等其他原因,造成消息在处理过程中消息丢失或者被忽略(异常之后错误的应答等),也就是说消息没有正确的被消费掉,我们也可以认为是一种消息丢失。GLR28资讯网——每日最新资讯28at.com

二、消息丢失的原因有哪些

1.消息生产阶段

  • 生产者配置错误:生产者在发送消息时,配置错误的主体、分区或者消息的过期时间,造成消息无法正确发送到MQ中。
  • 网络故障:生产者与MQ集群之间网络故障。

2.消息存储阶段

  • 磁盘故障:以Kafka举例,如果磁盘出现故障,Kafka中的消息无法洛盘,可能导致消息的丢失。
  • 日志压缩策略:使用了压缩比较高的压缩策略从而可能在压缩的过程中丢失消息。

3.消息消费阶段

  • 消费者处理失败:在处理消费逻辑时,由于程序bug等原因,造成系统异常,错误应答从而丢失消息。
  • 消费者提交偏移量错误:当消费者消费完消息之后,提交错误的偏移量造成消息的重复消费或者消息丢失。

三、消息丢失的解决方案有哪些

1.消息生产阶段

(1) 配置正确的主体、分区、以及TTL。GLR28资讯网——每日最新资讯28at.com

(2) 使用ACK应答,等待消息被MQ写入成功之后在确认为发送成功。GLR28资讯网——每日最新资讯28at.com

  • ack=1:默认值,leader副本成功写入消息即发送成功。
  • ack=0:发送消息后不等待服务端确认。
  • ack=-1或者ack=all:生产者需要等待ISR中的所有副本都成功写入消息才为消息发送成功。

(3) 消息发送重试。GLR28资讯网——每日最新资讯28at.com

  • retries:配置生产者发送消息重试次数。

(4) 配置合理的压缩策略。GLR28资讯网——每日最新资讯28at.com

  • compression.type 支持none、gzip、snappy、lz4、zstd。

(5) 设置合理的消息缓冲区大小。GLR28资讯网——每日最新资讯28at.com

  • buffer.memory:默认33554432。生产者用于缓存一批发送到服务器消息的总内存字节数。

(6) 使用合适的序列化器,防止序列号错误造成消息丢失。GLR28资讯网——每日最新资讯28at.com

其他的配置可以参考官网 Kafka 生产者配置:https://kafka.apache.org/documentation/#producerconfigsGLR28资讯网——每日最新资讯28at.com

2.消息存储阶段

  • 配置适当的副本数量和ISR。在发生故障的时候消息仍然可以从其他的副本中进行恢复。
  • 使用监控,实时检测消息的复制、磁盘的使用率。
  • 定期备份。

3.消息消费阶段

(1) 编写健壮的代码,说的容易,写起来还是得多测试。对于可能产生的异常原因进行分析处理。当发生异常时,可以做如下处理:GLR28资讯网——每日最新资讯28at.com

  • 记录错误,有异常处理机制,保证能够正确的处理异常情况。
  • 消息重试消息。(需要注意消费幂等以及死循环造成消息堆积)

(2) 使用手动提交偏移量。(需保证所有的异常情况代码中都有对应的异常处理机制,也就是第一点,健壮的代码)GLR28资讯网——每日最新资讯28at.com

(3) 使用自动提交偏移量。(需要保证消费逻辑正确)GLR28资讯网——每日最新资讯28at.com

(4) 使用监控,监控消费者的消费情况,发现异常立即上报。GLR28资讯网——每日最新资讯28at.com

(5) 正确的消费者组管理,类似消费者重平衡或者重启等造成的消息偏移量丢失。GLR28资讯网——每日最新资讯28at.com

(6) 备份,发生异常或者消息丢失时,可以跟踪到消费者的消费情况,直接使用备份恢复。GLR28资讯网——每日最新资讯28at.com

总结

上面我们分析了什么是消息丢失,产生的原因有哪些以及如何解决。通过看完这篇文章相信你对Kafka中的消息丢失也有了一定的了解,在工作中使用的时候也就不会没有底气了。GLR28资讯网——每日最新资讯28at.com

相信有眼尖的小伙伴发现了,在消费者的处理逻辑中,多次消费会造成消息的多次重复消费。消息的重试也有可能造成消息的堆积。那么这些问题就是下节课我们要说的。GLR28资讯网——每日最新资讯28at.com

本文链接://www.dmpip.com//www.dmpip.com/showinfo-26-92457-0.html面试官:对于 MQ 中的消息丢失你是如何理解的?

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 面试官:对于MQ中的消息堆积你是怎么理解的?

下一篇: 记一次 .NET某工控视觉自动化系统卡死分析

标签:
  • 热门焦点
  • K60 Pro官方停产 第三方瞬间涨价

    K60 Pro官方停产 第三方瞬间涨价

    虽然没有官方宣布,但Redmi的一些高管也已经透露了,Redmi K60 Pro已经停产且不会补货,这一切都是为了即将到来的K60 Ultra铺路,属于厂家的正常操作。但有意思的是该机在停产之后
  • 直屏旗舰来了 iQOO 12和K70 Pro同台竞技

    直屏旗舰来了 iQOO 12和K70 Pro同台竞技

    旗舰机基本上使用的都是双曲面屏幕,这就让很多喜欢直屏的爱好者在苦等一款直屏旗舰,这次,你们等到了。据博主数码闲聊站带来的最新爆料称,Redmi下代旗舰K70 Pro和iQOO 12两款手
  • 影音体验是真的强 简单聊聊iQOO Pad

    影音体验是真的强 简单聊聊iQOO Pad

    大公司的好处就是产品线丰富,非常细分化的东西也能给你做出来,例如早先我们看到了新的vivo Pad2,之后我们又在iQOO Neo8 Pro的发布会上看到了iQOO的首款平板产品iQOO Pad。虽
  • 2023 年的 Node.js 生态系统

    2023 年的 Node.js 生态系统

    随着技术的不断演进和创新,Node.js 在 2023 年达到了一个新的高度。Node.js 拥有一个庞大的生态系统,可以帮助开发人员更快地实现复杂的应用。本文就来看看 Node.js 最新的生
  • JavaScript学习 -AES加密算法

    JavaScript学习 -AES加密算法

    引言在当今数字化时代,前端应用程序扮演着重要角色,用户的敏感数据经常在前端进行加密和解密操作。然而,这样的操作在网络传输和存储中可能会受到恶意攻击的威胁。为了确保数据
  • 虚拟键盘 API 的妙用

    虚拟键盘 API 的妙用

    你是否在遇到过这样的问题:移动设备上有一个固定元素,当激活虚拟键盘时,该元素被隐藏在了键盘下方?多年来,这一直是 Web 上的默认行为,在本文中,我们将探讨这个问题、为什么会发生
  • 小米汽车电池信息疑似曝光:容量101kWh,支持800V高压快充

    小米汽车电池信息疑似曝光:容量101kWh,支持800V高压快充

    7月14日消息,今日一名博主在社交媒体发布了一张疑似小米汽车电池信息的照片,显示该电池包正是宁德时代麒麟电池,容量为101kWh,电压为726.7V,可以预测小
  • iQOO 11S新品发布会

    iQOO 11S新品发布会

    iQOO将在7月4日19:00举行新品发布会,推出杭州亚运会电竞赛事官方用机iQOO 11S。
  • OPPO K11采用全方位护眼屏:三大护眼能力减轻视觉疲劳

    OPPO K11采用全方位护眼屏:三大护眼能力减轻视觉疲劳

    日前OPPO官方宣布,全新的OPPO K11将于7月25日正式发布,将主打旗舰影像,和同档位竞品相比,其最大的卖点就是将配备索尼IMX890主摄,堪称是2000档位影像表
Top
Baidu
map