最新要闻
- 韩媒:拜登向尹锡悦推荐“零度可乐”,韩网友嘲讽“给你的也只有零”_全球热闻
- 焦点日报:马斯克疯狂降价!特斯拉Model Y已比美国新车平均价还便宜
- 环球看热讯:人工智能“走出”电脑!Spot机械狗成功集成ChatGPT
- 国产最强骁龙8 Gen2折叠屏!vivo X Fold2明天首销:8999元起
- 友商被苹果干趴 华为撑起国货尊严:一季度销量暴涨41%!没5G依然强-新资讯
- 求职者嫌8000工资高要求降到2000:HR信以为真改标准 世界今热点
- 三星堆是哪个朝代的?三星堆文明是什么民族?
- 佳禾智能:2022年净利润续创新高,一季度业绩强势增长|视点
- 为什么很多人喜欢罗永浩?罗永浩创立的手机品牌是什么?
- 明日方舟六星强度榜是什么?明日方舟真正的三幻神
- 街头霸王哪个人物最厉害?12人街霸人物原型
- 中国十大导演有哪些?中国内地四大导演排名
- 天天短讯!东西问丨马特博博耶夫:明铁佩古城遗址为何被称为“丝绸之路活化石”?
- 每日热议!爱美客(300896):1Q净利润高增 厚积薄发增长势头足
- 上海大力建设“墨水屏”公交站牌 今年五个新城覆盖率超50%
- 真能横着开!现代摩比斯“e-Corner”实车演示:再不怕侧方停车了_环球即时看
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
每日快播:CloudCanal x OceanBase 数据迁移同步优化
简述
CloudCanal 去年支持 OceanBase 数据迁移同步能力后,随着使用用户增多以及问题反馈,近期对该能力进行了一轮较大规模的优化。
本篇文章简要介绍这些优化点,以及未来该能力的演进方向。
(资料图片仅供参考)
优化点
大幅提升同步性能
CloudCanal 目前使用 OceanBase LogProxy 做增量数据订阅,使用方式相对简单明了。
@Overridepublic void notify(LogMessage message) { try { ParsedEntry entry = msgConvertor.convertMsgToEntry(message); if (entry == null) { return; } instance.getEventStore().put(entry); } catch (Exception e) { String msg = "parse ob msg failed.msg:" + ExceptionUtils.getRootCauseMessage(e); log.error(msg, e); throw new LogProxyClientException(ErrorCode.E_PARSE, msg); }}
消息解析对性能影响相对小,攒批和 对端写入方式影响更大。
攒批方面,我们将变更事件写入内存队列后,按照 个数/容量阈值(increBatchSize)或 超时时间(fetchFromBrokerTimeoutMs)刷出,提升批量写入的粒度。
对端写入方式,根据不同数据源,我们采用了 batch、multisql、 并行、 upsert等技术提升写入效率。
统一各类表全量扫描方式
全量数据扫描是 CloudCanal 全量数据迁移(或数据初始化)重要组成部分,需满足 性能优秀(2KB/record,>= 100k records 扫描速率)、可断点续传、可预测进度、表兼容性好的要求。
其中前三者是业务要求,最后一种是尽可能满足前三者的前提下,做到更多表的兼容。
CloudCanal 碰到的"表"包含以下类型
- 关系型数据库
- 无/单/多主键
- 各种类型主键(整型/浮点/日期/二进制等)
- 差异值主键(有/无符号,null值/空值,超长值)
- 各种类型分区
- 差异数据量(1万,100万,1000万,1亿,10亿,100亿)
- 实体表/视图/临时表
- 消息中间件
- 各种命名规范
- 无/有分区
- 顺序/非顺序
- 文档数据库
- 规范/非规范(schemaless)
- 无/有行业规范格式(ObjectId)
- 缓存数据库
- 搜索引擎
CloudCanal 全量数据扫描主要面向关系型数据库,性能要求、断点续传能力、进度预测能力都基于主键展开。
此次优化,我们做了如下几方面工作,统一了扫描逻辑,并且让无/单/多主键、各种类型主键、分区表都可断点续传
- 以主键、分区作为断点续传位点
- 扫描语句加入分区指定(如有)、元组比较(单/多主键)、按元组排序、指定分页数等部分
- 对比位点最大值、扫描行数方式判定扫描是否结束
此外,各个数据源可根据自身差异性,可扩展扫描语句、最大最小位点值获取逻辑、链接自定义(设置超时等)、执行语句上下文自定义(设置fetchSize等)。
支持全局索引表
全局二级索引(GLOBAL)对分布式数据库有着非常重要的作用,它让原本 多分区数据检索操作 弱化成单分区检索,加速不同维度点查响应,提升 QPS。
对于 OceanBase 对端写入,CloudCanal 默认采用关系型数据库 INSERT IGNORE/ON DUPLICATE KEY UPDATE 规避主键/唯一键冲突。
但是对于带有 GLOBAL 索引的表,OceanBase 不支持 INSERT IGNORE 操作,所以此次优化,我们写入 OceanBase 的 INSERT 操作默认改为 ON DUPLICATE KEY UPDATE (REPLACE)。
异构 DDL 同步转换优化
从异构数据库同步 DDL 到 OceanBase,我们优化成白名单模式。
如 MySQL 到 OceanBase DDL 同步,默认支持
- ALTER TABLE xxx ADD/DROP/MODIFY COLUMN
- CREATE INDEX
- RENAME TABLE
优化同时去除了 ALTER TABLE xxx CHANGE COLUMN、AFTER/BEFORE等 OceanBase 现阶段不支持的语句。
此项能力随着 OceanBase 产品能力的进化而不断丰富。
解决时间戳自更新问题
对于类似 gmt_create
datetime/timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP时间字段定义,当源端该字段值变化区间小于时间精度(被程序判定未变化),并且写入对端并非采用 upsert 方式(精确字段更新),那么该字段数据将不一致。
CloudCanal 在精确字段更新模式下,默认将时间字段置为更新状态,确保将源端值带到对端,解决不一致的问题。
演进方向
OceanBase 商业级增量组件兼容
OceanBase 商业版 OMS 的数据订阅能力有别于目前社区版的 LogProxy,如 OceanBase 官方逐步扩大其使用面,CloudCanal 将第一时间跟进兼容。
更快的数据校验和订正能力
分布式数据库相对单机数据库,单表数据量大幅度增加(亿级表相当常见),数据校验和订正性能相比数据初始化,更加依赖数据扫描的性能,为此,CloudCanal 将开放 单表分片/分区并行扫描的能力。
更强的结构迁移和 DDL 同步能力
大表 通用/特殊化分区是常见操作,目前 CloudCanal 对表分区的结构迁移并未有效支持,这种分区的结构迁移,对于同构数据库相当必要。后续,我们将提供 分区信息的结构迁移。
更多的数据源生态支持
以 OceanBase 为源端数据迁移同步,目前支持 MySQL、StarRocks、OceanBase、Kafka对端,我们希望后续如 Redis、ElasticSearch、Doris、Hudi等数据源也能加入到这个目标数据源中。
总结
本文主要介绍了 CloudCanal 在过去一段时间对 OceanBase 数据迁移同步能力的优化,从而是这个能力具备更强的性能、更好的兼容性、更加稳定的数据迁移同步表现。
关键词:
-
每日快播:CloudCanal x OceanBase 数据迁移同步优化
简述CloudCanal去年支持OceanBase数据迁移同步能力后,随着使用用户增多以及问题反馈,近期对该能力进行了
来源: -
JS中的promise返回的resolve()和reject()的理解附代码展示
在JavaScript中,Promise是一种处理异步操作的方式。Promise对象有两个重要的方法:resolve()和reject()。r
来源: 每日快播:CloudCanal x OceanBase 数据迁移同步优化
JS中的promise返回的resolve()和reject()的理解附代码展示
韩媒:拜登向尹锡悦推荐“零度可乐”,韩网友嘲讽“给你的也只有零”_全球热闻
苹果手机黑屏但是有声音是怎么回事?苹果手机黑屏但是有声音怎么解决?
联想k860什么时候上市的?联想k860手机参数
焦点日报:马斯克疯狂降价!特斯拉Model Y已比美国新车平均价还便宜
环球看热讯:人工智能“走出”电脑!Spot机械狗成功集成ChatGPT
国产最强骁龙8 Gen2折叠屏!vivo X Fold2明天首销:8999元起
友商被苹果干趴 华为撑起国货尊严:一季度销量暴涨41%!没5G依然强-新资讯
求职者嫌8000工资高要求降到2000:HR信以为真改标准 世界今热点
电脑k歌需要什么设备?电脑k歌软件哪个好用?
2022中国男排大名单是什么?中国男排联赛2022年赛程
麦当劳被中国买下了吗?金拱门为什么还叫麦当劳?
三星堆是哪个朝代的?三星堆文明是什么民族?
佳禾智能:2022年净利润续创新高,一季度业绩强势增长|视点
为什么很多人喜欢罗永浩?罗永浩创立的手机品牌是什么?
明日方舟六星强度榜是什么?明日方舟真正的三幻神
街头霸王哪个人物最厉害?12人街霸人物原型
中国十大导演有哪些?中国内地四大导演排名
数栈V6.0全新产品矩阵发布,数据底座 EasyMR 焕新升级|世界快消息
天天热门:高清录音机市场需求调研分析
python-docx对替换后的文字设置英文字体、中文字体、字号大小、对齐方式-焦点短讯
天天短讯!东西问丨马特博博耶夫:明铁佩古城遗址为何被称为“丝绸之路活化石”?
每日热议!爱美客(300896):1Q净利润高增 厚积薄发增长势头足
上海大力建设“墨水屏”公交站牌 今年五个新城覆盖率超50%
真能横着开!现代摩比斯“e-Corner”实车演示:再不怕侧方停车了_环球即时看
王健林抛弃万达汽车
天天亮点!首发9999元 惠普暗影精灵9 SLIM上架:i9+ RTX 4060
脚感软弹 静音防滑:三福EVA洞洞拖鞋14.1元大促(原价29元) 天天速读
央行今日实现净投放590亿元
VueRouter 天天微头条
全球新消息丨WPF教程_编程入门自学教程_菜鸟教程-免费教程分享
基于Java开发支持全文检索、工作流审批、知识图谱的应用系统
前端跨域解决方案——CORS
【环球播资讯】湖北宜昌三年改造367座危桥
天天即时看!丰田:智能不是堆砌功能 制造让中国人感到喜悦的汽车
今亮点!真我11系列外观首秀:荔枝纹素皮、金色圆环抢眼
强过骁龙8 Gen3!iQOO Neo8 Pro首发天玑9200+稳了_全球热点评
全球百事通!工信部:尽快明确2023年后车购税减免政策
曾红极一时的天涯社区已无法打开 消息称欠了千万元服务器费_全球今日讯
【单例设计模式原理详解】Java/JS/Go/Python/TS不同语言实现
【世界新要闻】国防部新闻发言人谭克非就中国军队派军舰紧急撤离我在苏丹人员发表谈话
今日快看!【财经分析】深圳市4月地方债定价连续“换锚” 市场化发行水平不断提升
大熊猫丫丫启程画面曝光 网友哽咽:一路平安
5999元起!小米13 Ultra改变了米粉不爱拍照的习惯 全球速讯
全球播报:暗黑预售推动暴雪营收大幅增长
世界速递!超讯通信:2022年度净利润约1519万元
学习Linux,你提上日程了吗?
“五一”出游高峰将至 各地文旅部门多举措“迎考”
【国际大宗商品早报】国际油价显著下跌 基本金属多数上涨
郑和下西洋最远到达了哪里_郑和下西洋最远的地方|每日精选
环球短讯!小米14曝光:采用华星屏幕 边框比iPhone 14 Pro更窄
涨价到2万买吗?苹果iPhone 15系列最新渲染图来了:有USB-C接口、更圆润
iPhone、Win11正式打通:能在电脑上接打电话、收发信息了|天天速递
学系统集成项目管理工程师(中项)系列13a_人力资源管理(上)
5月26上映!《小美人鱼》发新海报 黑小美人鱼化身精灵展绝美瞬间
天天要闻:中国红牛十问泰国天丝:原版红牛凭啥在中国获取近百亿的利益?
4月26日基金净值:国寿安保稳鑫一年持有混合A最新净值1.0035,跌0.59%_热闻
焦点!浅谈errgroup的使用以及源码分析
焦点短讯!Blazor UI库 Bootstrap Blazor 快速上手 (v7.5.7)
关注:使用youtube-dl和yt-dlp下载视频!
头条:4月26日基金净值:嘉实农业产业股票A最新净值1.8912,涨0.34%
世界新资讯:华为真的很懂女人:前置拍照 媲美后置
神秘技艺挑战“精准刀法”!RTX3070性能大增的原因是什么?
电车充电的速度 就要赶上油车加油了_每日快看
感受下真正全国产的服务器、PC!能硬 也能软
【天天报资讯】Intel显卡多了一个大品牌!41年历史的旌宇
全球快资讯:人气流失!跟队:切尔西主场出现空座,这情况太罕见了
今日热议:“不动产统一登记”引发房产税热议,上海试点12年效果如何?
燃气灶自动熄火原因和处理方法图解(燃气灶自动熄火原因和处理方法)
09 管理内存对象|焦点讯息
沃尔沃最安全纯电动EX90发布!“我们会的新势力10年都学不会”
环球滚动:大熊猫丫丫已启程回国:专机飞往上海 明天抵达浦东机场
陈凯歌与倪萍结过婚吗 陈凯歌与倪萍有子女吗
关于在linux中使用tcpdump命令进行简单的抓包操作
Geotools处理shape文件 世界微速讯
中小型项目统一处理请求重复提交 天天热消息
交易商协会:一季度绿色债务融资工具共发行429.88亿元
微软回应英国CMA阻止收购:不会放弃交易 并将提出上诉
厂商私自发布RTX 3060 Ti SUPER!NVIDIA怒了:强制下架
世界最新:HarmonyOS 3适配进度:华为P20/Mate 10等13款设备喜提正式版
华为Wi-Fi 6技术秀肌肉:350公里时速下网速980Mbps 资讯
【速看料】国行索尼PS5第一次降价!数字版只需2729元 货源充足
环球今亮点!进一步规范我市农资经营市场秩序
如何在jmeter中把响应中的数据提取出来并引用 天天头条
最无益一日曝十日寒的上一句_最无益一日曝十日寒-当前快看
【财经分析】公募REITs一季度业绩喜忧参半 短期波动无碍机构长期看多
EVGA一怒之下决裂不做N卡!灵魂人物却投奔NVIDIA 焦点日报
每日头条!动视暴雪CEO:收购案还未盖棺定论 优势在我
DXO拍照得分全球第一 Find X6 Pro重磅更新:相机新功能诚意满满
大发地产已物色上会栢诚为新核数师 2022年报将在8月31日前刊发_天天时快讯
天天滚动:elastic-job源码(2)-选举机制
环球热头条丨第五期(2022-2023)传统行业云原生技术落地调研报告——金融篇
日债市场等待交投指引 中长端收益率明显回落
人民银行上海总部:一季度长三角地区人民币贷款增加3.71万亿元 同比多增8712亿元
钱包给你!关羽五五新皮肤百相守梦即将登场 太帅了
抱抱脸开源GPT不用注册直接玩!网友:“安卓时代”来了 环球观点
全新Win10精简版OS发布下载!CPU/内存占用暴降:游戏性能起飞
国内已超越GPS 定位精度优于1米 我国已有45颗北斗卫星在轨:还要再发1-3颗备份_全球快看点
世界新资讯:无限逼近现实世界光影特效!《赛博朋克2077》全景光追体验:开启DLSS 3帧率提升超过300%