最新要闻
- 今日报丨《百度智能驾驶开放白皮书》发布 面向车企开放四大能力
- 今头条!特斯拉中国工厂待遇如何?普通工人月薪1万块 父母看病都能报销
- 女子借朋友摩托车无证驾驶 在隧道“狂飙”拍抖音 朋友也惨了
- 世界快讯:真人版《小美人鱼》国内将上映!黑小美人鱼喊话自己可爱:我爱的人而战
- 全球百事通!全系800V高压、一体化铝压铸车身!小鹏SEPA 2.0扶摇架构发布
- 比原版多50分钟!真人版《小美人鱼》片长超2小时
- 苹果设备不断要求输入Apple ID密码!客服回应:可尝试修改密码
- 环球今日讯!猿辅导被举报单日加班超6小时:上厕所需报备 时薪仅17元
- 当前快报:2022年全国共登记计算机软件著作权183.5万件:比十年前高12倍
- 全球快报:国内成品油零售价迎今年最大涨幅 加满多花70元:沙特俄罗斯减产 国际油价大涨
- 环球新资讯:卢谈G1:我们没有太多容错空间&不是试探性比赛 必须全力以赴
- 杭州萧山国际机场T3航站楼出现冒烟现象:无人受伤
- 天天视讯!今晚开始!国内成品油零售价迎今年最大涨幅:加满一箱多花20元
- 世界热资讯!王一博、梁朝伟主演电影《无名》结束公映:85天票房9.31亿
- 热讯:RTX 4060 Ti、RTX 4060严重缩水:除了显存 还有一点没法看
- 天天视点!人类真是动物界最优秀的长跑运动员?别闹了
广告
手机
![iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?](http://tuxianggu.4898.cn/thumb/uploads/2020-07-29/db49b24a344ffac3e19f762856828ea8.jpg)
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
![警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案](http://i2.chinanews.com/simg/cmshd/2021/05/16/657ff48335db44a494ca7580d58c6477.jpg)
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
环球视讯![Flink] Flink作业报错:Caused by: The connector is trying to read binlog starting at GTIDs ..., but this is no longer available on the server[转载]
(资料图)
这个问题,属于偶现问题。通常几个月才偶现一次。因为上周五又出现了一次,且团队内多位小伙伴都遇到过。故此,这次特别记录下,以加强印象。
1 问题描述
Flink作业报错:Caused by: The connector is trying to read binlog starting at GTIDs ..., but this is no longer available on the server. Reconfigure the connector to use a snapshot when needed.
2 问题原因
Flink Job
正在读的 mysql binlog
日志被清理了,出现这个报错目前只能全新状态重启。
3 解决方案
导致报错的可能原因以及处理办法:
- 原因1:RDS做了内部迁移操作,Flink jar作业使用mysql cdc消费mysql数据报错的原因是是作业处理的速度追不上mysql binlog 产生的速度,导致正在读的位点被清理了。
解决办法:需要全新启动作业,以重新读取数据解决。
- 原因2:RDS有日志保留策略,最长18个小时,最大占用30%存储空间,两个条件谁先满足都会触发删除,如果您写入特别多,超过30%的存储空间了,可能binlog日志1小时就删除了
注:rds页面上还有一个7天的binlog文件保存,这个是rds后台转存到你们的oss上的,flink cdc目前是没有去转存后oss上去读取这些文件的。
解决办法:需要调整RDS MySQL的Binlog过期策略,使得Binlog能正常被读取。
- 原因3:通过只读实例消费 CDC 数据,RDS的只读实例不保证binlog(本地只保留10s,上传oss),所以 flink cdc 侧不建议连接 RDS 的只读实例。 只读实例一旦作业 Failover 10s 内恢复不过来,就会有这个异常 只读实例判定,rr 开头的就是只读实例 rm 开头的就是正常的实例
解决办法:不建议MySQL CDC源表读取RDS的只读实例数据。
- 原因4:MySQL CDC作业消费Binlog太慢,例如下游的聚合算子或者Sink算子长时间出现反压,反压传递到source,导致source无法消费数据。
解决办法:需要对作业资源调优,让source恢复正常消费即可。
- 原因5:作业正在读取的Binlog文件在MySQL服务器已经被清理掉时,会出现该报错。这种情况一般由于MySQL服务器上Binlog的保留时间太短。
解决办法:可以将Binlog的保留时间调大,比如7天。具体命令如下。
mysql> show variables like "expire_logs_days";mysql> set global expire_logs_days=7;
X 参考文献
- Flink作业报错:Caused by: The connector is trying to read binlog starting at GTIDs ..., but this is no longer available on the server - Aliyun
关键词:
-
环球视讯![Flink] Flink作业报错:Caused by: The connector is trying to read binlog startin
这个问题,属于偶现问题。通常几个月才偶现一次。因为上周五又出现了一次,且团队内多位小伙伴都遇到过...
来源: -
-
-
环球视讯![Flink] Flink作业报错:Caused by: The connector is trying to read binlog startin
每日热闻!央行圆桌汇:4月17日
今日报丨《百度智能驾驶开放白皮书》发布 面向车企开放四大能力
今头条!特斯拉中国工厂待遇如何?普通工人月薪1万块 父母看病都能报销
女子借朋友摩托车无证驾驶 在隧道“狂飙”拍抖音 朋友也惨了
世界快讯:真人版《小美人鱼》国内将上映!黑小美人鱼喊话自己可爱:我爱的人而战
全球百事通!全系800V高压、一体化铝压铸车身!小鹏SEPA 2.0扶摇架构发布
比原版多50分钟!真人版《小美人鱼》片长超2小时
热议:SoapUI使用教程-九五小庞
实时焦点:债市观察:做多情绪占优 收益率曲线平坦化下移
【读财报】制造主题基金2022年业绩透视:广发基金领亏 摩根基金净值跌幅最大
苹果设备不断要求输入Apple ID密码!客服回应:可尝试修改密码
环球今日讯!猿辅导被举报单日加班超6小时:上厕所需报备 时薪仅17元
当前快报:2022年全国共登记计算机软件著作权183.5万件:比十年前高12倍
全球快报:国内成品油零售价迎今年最大涨幅 加满多花70元:沙特俄罗斯减产 国际油价大涨
环球新资讯:卢谈G1:我们没有太多容错空间&不是试探性比赛 必须全力以赴
环球观点:学系统集成项目管理工程师(中项)系列08a_合同管理(上)
杭州萧山国际机场T3航站楼出现冒烟现象:无人受伤
天天视讯!今晚开始!国内成品油零售价迎今年最大涨幅:加满一箱多花20元
【全球报资讯】考研数据结构模板:顺序表、链表、栈、队列
世界热资讯!王一博、梁朝伟主演电影《无名》结束公映:85天票房9.31亿
热讯:RTX 4060 Ti、RTX 4060严重缩水:除了显存 还有一点没法看
天天视点!人类真是动物界最优秀的长跑运动员?别闹了
环球快报:一款车发布两年还没影!长城怎么这么难产?
当前聚焦:机械硬盘卖不动了 销量暴跌35%!三大品牌抱团哭惨
三代同堂!46岁皇马传奇古蒂升级当爷爷,22岁网红大女儿产下一子
天天关注:Node.js的安装以及配置npm全局模块路径和缓存路径
使用Sentieon加速甲基化(WGBS)分析
世界短讯!【明日方舟】4周年活动更新预测(第二版)
当前头条:4年不卡的骁龙8+旗舰来了!一加Ace 2原神限定版明天发:抢到赚到
全球视点!iOS 17控制中心将有大变化:有一批老设备不支持 将被淘汰
AMD、NVIDIA新一代显卡全部破发!次旗舰双双最惨
环球热议:扎实打牢数据结构算法根基,从此不怕算法面试系列之005 week01 02-05 使用自定义类测试我们前面实现的支持泛型的线性查找法
如何获取软件包的下载地址 wget curl
基于GPT3的代码编辑器Cursor试用-你的智能代码编辑助手
每日快播:React onBlur回调中使用document.activeElement返回body解决方案
世界观察:民营天龙二号液体火箭首飞成功:还隐藏了一个中国第一
天天看热讯:不知道这几点!你买电动牙刷就是花冤枉钱
世界热资讯!热泵干衣机被严重低估了!浑身都是宝
环球快播:致聂红的一封信
环球快报:2023上海车展丨这些即将首发的热门新车你一定不要错过!
云南泼水节白天是热闹夜晚是浪漫:市民游客共狂欢
员工回应公司发布高薪招聘老板公告:不是开玩笑
热推荐:java -- File类和递归
贾跃亭憋了九年的车终于量产?结果 又一张大饼!
环球快报:四边等宽的鸿蒙手机来了!华为nova 11明天发
潍坊风筝节放飞打工人的心声:引发网友热议
Intel鸡血驱动暴涨63%!Arc A750性价比秒杀RTX 3060 72%!
当前最新:天舟六号飞船、长征七号火箭抵达文昌!五次发射 100%成功
山东泰山队vs上海申花首发出炉:四外援先发,韩镕泽镇守球门
每日热讯!“泼水节被撕扯雨衣”女生发声:很崩溃
世界快报:众人狂欢!泼水节连狗路过都得淋两桶水再走
贝贝健电蚊香液到手14.9元:驱赶蚊虫神器 夏天必备
全球信息:超级SSD 21合一组成168TB!价格直奔20万元
全球视点!扎实打牢数据结构算法根基,从此不怕算法面试系列之001 week01 02-01 什么是算法?
焦点快报!女子花2万为猫移植鱼皮被网暴 本人:救治一半不可能放弃
全球热头条丨女子澄清妈妈做月嫂存款482万为虚构:觉得好玩就发了 现在很后悔
环球热文:养男三不碰,养女三讲究,教出来的孩子才能立足社会!
世界信息:Air724UG开发板串口教程
首发宁德时代麒麟电池 极氪009 ME版正式交付:根治续航焦虑
环球百事通!超智驾轿跑SUV!小鹏G6将亮相上海车展
学系统集成项目管理工程师(中项)系列06b_信息系统安全管理(下)
【打怪升级】【微服务】聊聊微服务拆分设计
微头条丨《世界尽头的咖啡馆》-热衷于有意义的事,追求真我。
31-触发器01
2023年4月自考《人力资源管理(一)》真题答案汇总
卡普空更新出尔反尔:突然移除《生化危机2/3》Steam版光追
世界速看:奥利奥礼包到手39元:夹心饼干、巧脆卷全都有
环球看点!Vulnhub Fall Walkthrough
环球消息!苹果在线服务又出Bug:用户被迫反复输入Apple ID
每日视点!余承东罕见认错:还连甩五项重磅技术更新
《灌篮高手》赤木刚宪预告 大猩猩怒吼霸气登场
每日看点!Visual Studio Code开发常用的工具栏选项,查看源码技巧以及【vscode常用的快捷键】
环球快资讯丨也门和平进程迎来重要机遇
环球时讯:《流浪地球2》网播热度不减:上线后全网热度登顶
今日热文:深入理解 JVM ------ 调优案例分析与实战
观热点:1年内5名机车网红车祸身亡:靠摩托车来吸睛涨粉 已成“流量密码”
世界热点评!当心寄生虫!女生15元买15个螺肉疑为福寿螺 央视科普如何区分
FreeSWITCH添加iLBC编码及转码
世界最资讯丨负数有奇数和偶数吗_奇数和偶数是什么意思
华为鸿蒙HarmonyOS 4.0来了!余承东确定秋天发布
世界热点评!熊猫“蔓越煤”胡萝卜卡喉 饲养员海姆立克法施救:不愧是“生命的拥抱”
最新消息:《3D编程模式》写书-第3次记录
全球焦点!推荐给你让人震惊的网站集合
快看点丨迪士尼《小美人鱼》黑人鱼主演发声反对霸凌:要和我一样可爱
天天实时:国内首颗主动降水测量卫星成功发射!中国又拿下全球唯一
每日短讯:中国人民银行行长易纲会见印度尼西亚财长英卓华
【焦点热闻】使用 APT-mirror 四步配置 Ubuntu 本地软件仓库
环球快播:【见•闻】日本汽车界对合成燃料汽车赛道寄予厚望
最资讯丨超越“乔帮主” 库克成苹果任职时间最长的CEO
环球信息:存失速、起火风险!奔驰中国召回近25万辆汽车
天天滚动:清明过后教你美味简单的几道家常菜,好吃不容错过,上桌抢着吃
今亮点!14nm以上EDA工具国产化!华为:完成了软件/硬件开发78款工具的替代
每日热议!特斯拉降价是为打“价格战”?马斯克否认并透露原因
世界即时:女子鱼刺卡喉花1265元取出直呼贵!提醒:切勿自行处理
环球焦点!day01-Redis入门
销量大跌 资金链断裂!广汽本田一4S店老板“跑路”
坐燃油车从来不晕车 为何坐电动车很容易晕车?
每日精选:欧拉发布1080°女性安全架构:刹车自动增强、一键紧急呼救
环球要闻:华为4月17日首发全液冷超充架构 充电桩功率“遥遥领先”