最新要闻
- 柯纳米员工袭击老板
- 每日快讯!是兄弟就来找ChatGPT漏洞 最高赏金2万刀:你敢来吗
- 当前头条:AMD 3D缓存大杀四方!Intel 14代酷睿上四级缓存
- 我国首颗太阳专用卫星 夸父一号观测数据将向国内外试开放
- 环球消息!懒人家常糖饼,和面方式不一般,出锅鼓泡不漏糖,松软甜蜜不会硬
- 索泰首发三款RTX 4070:天启功耗解锁250W!5399元
- 第三代“风雪”散热器 小巧高颜值!耕升RTX 4070踏雪显卡图赏
- 【新视野】发售一年的《幽灵线:东京》游戏上了D加密:学习版早已满天飞 玩家不解
- 从柯哀亲嘴到作者“去世” 又一场滑稽的互联网闹剧
- 正逆转设计 技嘉RTX 4070风魔OC 12G显卡图赏
- 新一代“夜视神器”!佳能推出全球首款SPAD传感器相机
- 世界最资讯丨地球上将近一半人都在玩游戏!全球游戏受众已达37亿
- 全球实时:6年前的麒麟970如获新生 24款设备升级华为鸿蒙3系统
- 铝车身强度差?奇瑞小蚂蚁表示不服:托举30吨坦克
- 微速讯:徕卡CEO体验小米13 Ultra后打出满分:影像素质前所未有
- 全球消息!湖北构建全国劳动争议多元化解先行区
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
最新:面试题百日百刷-kafka篇(二)
锁屏面试题百日百刷,每个工作日坚持更新面试题。请看到最后就能获取你想要的,接下来的是今日的面试题:
1.解释一下,在数据制作过程中,你如何能从Kafka得到准确的信息?
(资料图片)
在数据中,为了精确地获得Kafka的消息,你必须遵循两件事: 在数据消耗期间避免重复,在数据生产过程中避免重复。
这里有两种方法,可以在数据生成时准确地获得一个语义:
每个分区使用一个单独的写入器,每当你发现一个网络错误,检查该分区中的最后一条消息,以查看您的最后一次写入是否成功
在消息中包含一个主键(UUID或其他),并在用户中进行反复制
2.解释如何减少ISR中的扰动?broker什么时候离开ISR?
ISR是一组与leaders完全同步的消息副本,也就是说ISR中包含了所有提交的消息。ISR应该总是包含所有的副本,直到出现真正的故障。如果一个副本从leader中脱离出来,将会从ISR中删除。
3.Kafka为什么需要复制?
Kafka的信息复制确保了任何已发布的消息不会丢失,并且可以在机器错误、程序错误或更常见些的软件升级中使用。
4.如果副本在ISR中停留了很长时间表明什么?
如果一个副本在ISR中保留了很长一段时间,那么它就表明,跟踪器无法像在leader收集数据那样快速地获取数据。
5.请说明如果首选的副本不在ISR中会发生什么?
如果首选的副本不在ISR中,控制器将无法将leadership转移到首选的副本。
6.Kafka有可能在生产后发生消息偏移吗?
在大多数队列系统中,作为生产者的类无法做到这一点,它的作用是触发并忘记消息。broker将完成剩下的工作,比如使用id进行适当的元数据处理、偏移量等。
作为消息的用户,你可以从Kafka broker中获得补偿。如果你注视SimpleConsumer类,你会注意到它会获取包括偏移量作为列表的MultiFetchResponse对象。此外,当你对Kafka消息进行迭代时,你会拥有包括偏移量和消息发送的MessageAndOffset对象。
7.请说明Kafka 的消息投递保证(delivery guarantee)机制以及如何实现?
Kafka支持三种消息投递语义:
① At most once 消息可能会丢,但绝不会重复传递
② At least one 消息绝不会丢,但可能会重复传递
③ Exactly once 每条消息肯定会被传输一次且仅传输一次,很多时候这是用户想要的
consumer在从broker读取消息后,可以选择commit,该操作会在Zookeeper中存下该consumer在该partition下读取的消息的offset,该consumer下一次再读该partition时会从下一条开始读取。如未commit,下一次读取的开始位置会跟上一次commit之后的开始位置相同。
可以将consumer设置为autocommit,即consumer一旦读到数据立即自动commit。如果只讨论这一读取消息的过程,那Kafka是确保了Exactly once。但实际上实际使用中consumer并非读取完数据就结束了,而是要进行进一步处理,而数据处理与commit的顺序在很大程度上决定了消息从broker和consumer的delivery guarantee semantic。
·读完消息先commit再处理消息。这种模式下,如果consumer在commit后还没来得及处理消息就crash了,下次重新开始工作后就无法读到刚刚已提交而未处理的消息,这就对应于At most once。
·读完消息先处理再commit消费状态(保存offset)。这种模式下,如果在处理完消息之后commit之前Consumer crash了,下次重新开始工作时还会处理刚刚未commit的消息,实际上该消息已经被处理过了,这就对应于At least once。
·如果一定要做到Exactly once,就需要协调offset和实际操作的输出。经典的做法是引入两阶段提交,但由于许多输出系统不支持两阶段提交,更为通用的方式是将offset和操作输入存在同一个地方。比如,consumer拿到数据后可能把数据放到HDFS,如果把最新的offset和数据本身一起写到HDFS,那就可以保证数据的输出和offset的更新要么都完成,要么都不完成,间接实现Exactly once。(目前就high level API而言,offset是存于Zookeeper中的,
无法存于HDFS,而low level API的offset是由自己去维护的,可以将之存于HDFS中)。
总之,Kafka默认保证At least once,并且允许通过设置producer异步提交来实现At most once,而Exactly once要求与目标存储系统协作,Kafka提供的offset可以较为容易地实现这种方式。
全部内容在git上,了解更多请点我头像或到我的主页去获得,谢谢
关键词:
最新:面试题百日百刷-kafka篇(二)
全球看热讯:融创达成复牌指引 明起正式复牌
柯纳米员工袭击老板
每日快讯!是兄弟就来找ChatGPT漏洞 最高赏金2万刀:你敢来吗
当前头条:AMD 3D缓存大杀四方!Intel 14代酷睿上四级缓存
我国首颗太阳专用卫星 夸父一号观测数据将向国内外试开放
Vulnhub Mercy Walkthrough
java命令执行漏洞
环球新资讯:打印圣诞树
天天速讯:09字典(dict)与集合(set)
环球消息!懒人家常糖饼,和面方式不一般,出锅鼓泡不漏糖,松软甜蜜不会硬
索泰首发三款RTX 4070:天启功耗解锁250W!5399元
第三代“风雪”散热器 小巧高颜值!耕升RTX 4070踏雪显卡图赏
【新视野】发售一年的《幽灵线:东京》游戏上了D加密:学习版早已满天飞 玩家不解
从柯哀亲嘴到作者“去世” 又一场滑稽的互联网闹剧
正逆转设计 技嘉RTX 4070风魔OC 12G显卡图赏
count(*) count(1) count(字段)效率问题
java -- 二维数组
每日看点!vivo全球商城:电商交易平台设计
焦点速看:python中如何修改文件?
全球快看:js数组方法之数组变异方法
新一代“夜视神器”!佳能推出全球首款SPAD传感器相机
世界最资讯丨地球上将近一半人都在玩游戏!全球游戏受众已达37亿
全球实时:6年前的麒麟970如获新生 24款设备升级华为鸿蒙3系统
铝车身强度差?奇瑞小蚂蚁表示不服:托举30吨坦克
微速讯:徕卡CEO体验小米13 Ultra后打出满分:影像素质前所未有
全球消息!湖北构建全国劳动争议多元化解先行区
每日视讯:JdkProxy的进阶知识
全球快看点丨【Visual Leak Detector】Release 模式下使用 VLD
【环球聚看点】债市日报:4月12日
韩国面板巨头要卖掉中国LCD工厂?TCL否认接盘:消息不实
女子拒绝调岗降薪被辞退:离职证明上写着“简历造假” 当事人难就业
世界速递!一加Ace 2新增18GB内存 被指反向升级 高管解释:真没有
【世界新视野】国内5月上映 迪士尼《小美人鱼》新剧照公布:脏辫黑人鱼与王子对视
天天速看:首发1350元 铭凡UM560XT迷你主机上架:锐龙5 5600H、液金散热
【聚看点】非法捕捞水产品案进行生态补偿 三亚海警局组织增殖放流3000尾鱼苗
全球即时:最全的python正则使用
环球精选![翻译]ExecutionContext vs SynchronizationContext
24层楼高!我国首艘大型邮轮将交付:2500万个零件
【天天聚看点】文案没能逃过因AI失业!蓝色光标回应AI取代文案外包:属实
全球最资讯丨车主曝极氪001自动加速撞车:官方承认失控、但不担责任
《生化危机:死亡岛》角色介绍:克莱尔、瑞贝卡、吉尔太美了
播报:腾讯QQ邮箱关联邮箱帐号功能要没了!5月15日终止服务
王一鸣:重点激活服务消费,放松中高端商品和服务消费的限制性措施
天天最新:新人必看| 移动端“动态化”是什么意思?
guacamole免密登录,guacamole不通过登录界面登录,guacamole指定用户名免密登录
天天快看点丨图数据库驱动的基础设施运维实操
java 如何计算两个汉字的相似度?如何获得一个汉字的相似汉字?
全球讯息:PostgreSQL 备忘清单_开发速查表分享
当前热文:《CS:GO》价值百万库存玩家被封:只因给其他玩家留言
环球速读:华为智慧屏S3 Pro官宣:顶部配“AI慧眼”、超窄四边
比亚迪微型电动车海鸥内饰发布:看齐海豚、卖8万买不
环球快讯:豆瓣评分跌至6.4!成龙《龙马精神》票房艰难破亿
每日速讯:“小Mate 50 Pro”实锤!华为畅享60X正面揭晓:旗舰同款刘海屏
环球今头条!4月15日 厦门邮轮母港公交场站正式启用(附公交调整方案)
环球消息!2023 年十大 API 管理趋势
新资讯:如何打开 plist 文件
每日短讯:Three.js教程:第一个3D场景
【天天时快讯】pymysql操作数据库入门
快看点丨高数上复习
辽宁发行150亿元专项债补充盛京银行资本金
【环球聚看点】《信托大家谈——信托业转型发展对大众意味着什么》
观点数字化大会 | 德信集团胡一平:一定要积极拥抱数字化改革
世界关注:非会员看剧遇3000多秒广告 优酷回应:确实会有 属极个别情况
世界今日讯!小米长焦之王!13 Ultra塞进两颗长焦镜头
专家称北京打车太便宜应涨价 崔东树曾任汽车销售
环球快看:女子疯狂网上购物确诊帕金森:过度伤害性冲动行为
世界最资讯丨自研大模型图片生成被质疑 商汤回应:秒画也有第三方开源模型
关于数智融合,看看这20位专家都聊了什么
热文:在.NET Core使用 HttpClient 的正确方式
看!前端新人如何用ChatGPT开发APP
JMeter-BeanShell预处理程序和BeanShell后置处理程序的应用
当前速读:智能指针基本原理,简单实现,常见问题
今日热门!叶一茜当众骂森碟“心机”,她就这么恨女儿?
【新华500】新华500指数(989001)12日窄幅震荡跌0.10%
沙尘跨过长江一路向南!直击江皖沪多地沙尘现场
要闻:GT Neo5 SE 1TB版只卖2599 真我喊话:现货才是硬道理
RTX 4070今晚发布 结果遭AMD背刺了:显存越大越好、4K至少16GB
全球头条:史上最挤”五一档来了!王一博《长空之王》等17部影片扎堆上映
网传明年中旬上海绿牌蓝牌要合并?官方回应来了
当前速读:梯田为“布” 光影为“沙” 点亮乡村“夜经济”
世界热消息:C#使用Elasticsearch入门
plist文件格式转换器
观速讯丨T-SQL基础教程Day1
天天微头条丨云图说|云数据库GaussDB如何做到卓越性能
环球最资讯丨不怕有味儿 比毛巾划算:云南白药洗脸巾0.06元/张狂促
天天热点评!“回锅沙”要来了!部分地方要注意
全球短讯!果粉最期待的大屏MacBook Air来了!苹果史上第一款
世界视点!首款骁龙8+平板中兴Axon Pad来了:12.1寸超大屏
新动态:4月14日State of Play:将展示超20分钟《最终幻想16》
全球看热讯:电商平台商品详情接口的应用场景
热点!二级指针创建二叉树节点与一级指针创建二叉树节点
身体很诚实!马斯克加入AIGC大战:抢购1万张GPU、挖Deepmind墙角
当前视讯!曾被誉为最靠谱!又一家造车新势力发不出工资了
全球微速讯:火山引擎 DataLeap 推出全链路智能监控报警平台
有病了还能买哪种保险?隐瞒健康告知带病投保会怎么样?
理想汽车全系车型电器真实功率再公开:空调果然是耗电大户!
小米13 Ultra样张首亮相:虚化堪比单反 夜拍效果惊人
《龙之家族》新季开拍
罕见超级激励!东方甄选奖励154员工8.83亿港元