最新要闻
- 环球快报:2磅蛋糕是几寸适合多少人吃_2磅蛋糕是几寸
- 新消息丨贾跃亭宣布历史时刻:为梦想窒息FF 91量产!老外狠拆台展示车架或未全面投产
- Windows 11 2024版发布了!首个官方ISO镜像免费下载
- 环球观点:调查显示:超半数受访者认为学历还是敲门砖
- 环球今热点:男子将父亲骨灰撒入大海被抓?为啥不能私自撒?
- 全球消息!庆祝索尼第一方游戏登陆XGP:微软推出Xbox限定主机
- 微速讯:飞沫传播图片_飞沫传播
- 国产商用卫星上架电商:折后200万起
- 全球讯息:双电机三把锁!比亚迪F品牌“SF”谍照再曝光:或于6月发布
- 天天通讯!43万起 新一代长轴版奔驰GLC开售 网友:给我一个不买理想L9的理由
- 当前信息:《流浪地球2》摄影指导:没觉得中国电影比别人差
- 焦点热议:广东检出1例“恐龙血”:Hh孟买血型系统 比Rh还稀有
- 宿州埇桥:烧鸡展翅飞出一片“新天地”
- 特斯拉Model 3起火殃及宝马新车 车主索赔法院如此判决
- 新疆阿瓦提长绒棉:清爽透气纯棉背心9.9元/件狂促
- 小伙戒指卡手遇130名消防员演训:正好现场教学 科普一定不能硬拽
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
CloudCanal 落地 DB2 数据迁移同步功能
简述
Db2 是一款具有悠久历史的关系型数据库,由 IBM 公司开发和维护,广泛应用于金融级业务场景。
(相关资料图)
CloudCanal 近期提供了 Db2 为源端的数据迁移同步功能,用户可以便利地将 Db2 中数据实时同步到其他数据库,实现数据更广泛、更实时的应用。
功能介绍
目标数据库和能力
目标端数据源 | 结构迁移 | 数据初始化 | 增量同步 | 数据校验 | 数据订正 |
---|---|---|---|---|---|
MySQL | 支持 | 支持 | 支持 | 支持 | 支持 |
TiDB | 支持 | 支持 | 支持 | 支持 | 支持 |
Kafka | - | 支持 | 支持 | - | - |
StarRocks | 支持 | 支持 | 支持 | 支持 | 支持 |
Db2 源端特色能力
基于 CDC 技术的数据同步
Db2 源端同步能力是基于 SQL 复制的 ASN 捕获代理,CloudCanal 通过捕获 Db2 CDC 表中的增量数据来实现数据同步。
Db2 源端进行增量数据同步时,CDC 元信息表的维护过程会被自动化管理,无需用户手动操作。
同时,CloudCanal 会周期性地清理已经同步到目标端的 CDC 记录,以避免 CDC 表的无限增长,从而保证同步数据的准确性和系统的稳定性。
结构迁移类型自动处理
不同数据库对于数据类型支持存在差异,CloudCanal 结构迁移时会进行类型自动转换。
Db2 为源端的结构迁移也存在类似转换(5+,并不断细化),如对端为 MySQL 或 TiDB,CloudCanal 将自动转换 VARCHAR FOR BIT DATA 为 VARBINARY。
数据初始化支持断点续传
Db2 为源端的数据初始化,支持字符或数字类型主键表的断点续传功能。
对于亿级别数据量的大表,此能力不可或缺,数据初始化断点续传功能让此种暂停尽可能少的影响进度。
数据同步支持断点续传
长周期的数据同步任务,暂停任务调整参数、修复问题数据、优化性能等情况很难避免,断点续传让这些维护操作变成可能。
CloudCanal 定时或定量保存提交后的位点(LSN,log sequence number),确保增量同步任务重启后可继续,并且不丢失数据。
配套数据校验与订正能力
在数据同步过程中,由于数据的外部关联性、结构约束差异、数据库运维操作、软件bug等情况,两端数据可能会不一致,此时数据校验和订正功能非常必要。
CloudCanal 为 Db2 为源端的数据同步能力额外提供了数据校验和数据订正功能,快速确定不一致数据范围,并针对差异数据进行修复。
产品化能力支撑
可视化创建
CloudCanal 创建 Db2 数据迁移同步任务是完全可视化的,通过获取数据库元数据,让用户在 web 页面上决定哪些库、表、列进行迁移同步,或者设定过滤条件、自定义数据处理逻辑等。
自动化流程
Db2 数据迁移同步任务创建后,CloudCanal 将自动流转各个阶段的任务,用户无需干涉,直达数据实时同步状态。
监控图表支撑
CloudCanal 为 Db2 数据迁移同步任务提供了多个实用监控指标,包括增量缓存RPS、增量缓存延迟(ms)、内存队列数据个数等,当调优任务性能或排查任务异常原因时,监控指标提供了很好的判断依据。
告警支持
CloudCanal 为 Db2 数据迁移任务提供了包括钉钉/企业微信/飞书/自定义等 webhook 类型告警,对于企业级客户,可额外选择邮件,以及短信告警,实时保障同步任务的高可用。
简单示例
本示例以将数据从 Db2 数据库同步到 MySQL 数据库为操作案例,以便更好地说明 CloudCanal 在不同数据库之间进行数据同步的能力。
准备动作
- 准备 CloudCanal,安装详细请参考:全新安装
- 准备好 Db2 数据库(本例使用 11.5 版本)和 MySQL 数据库(本例使用 8.0 版本)
- 登录 CloudCanal 平台 ,添加 Db2 和 MySQL
- Db2 源端如果需要增量同步需要开启 CDC,详细请参考:Db2 源端 CDC 同步准备
任务创建
任务管理 -> 新建任务
测试链接并选择 源 和 目标 数据库
点击下一步
选择 数据同步,并勾选 全量数据初始化,其他选项默认
选择需要迁移同步的表和列
确认创建任务
任务自动做结构迁移、全量迁移、增量同步
增量阶段进行数据写入后,进行数据校验,数据校验通过
总结
本文主要介绍了 CloudCanal 支持 Db2 为源端数据迁移同步功能,通过这个能力,用户可以便利地将 Db2 中数据实时同步到其他数据库,实现数据更广泛、更实时的应用。
关键词:
-
全球百事通!Python 应用 - jieba 分词 1:进行批量文本分词_艽野尘梦 better 的博客 - CSDN 博客
使用jieba分词实现批量文本分词,word文档批量转为txt文档,读取文件夹中所有文件名称,按给的图像绘制词云图
来源: CloudCanal 落地 DB2 数据迁移同步功能
观天下!hdfs disk balancer 磁盘均衡器
全球百事通!Python 应用 - jieba 分词 1:进行批量文本分词_艽野尘梦 better 的博客 - CSDN 博客
全球滚动:数论分块简介
【速看料】Mysql之SQL语句基础1
环球快报:2磅蛋糕是几寸适合多少人吃_2磅蛋糕是几寸
新消息丨贾跃亭宣布历史时刻:为梦想窒息FF 91量产!老外狠拆台展示车架或未全面投产
Windows 11 2024版发布了!首个官方ISO镜像免费下载
环球观点:调查显示:超半数受访者认为学历还是敲门砖
环球今热点:男子将父亲骨灰撒入大海被抓?为啥不能私自撒?
全球消息!庆祝索尼第一方游戏登陆XGP:微软推出Xbox限定主机
交互触摸大屏概念整理
速讯:全网最全的权限系统设计方案,不接受反驳!
要闻速递:[Redis]Redis概述
JSON多层嵌套复杂结构数据扁平化处理转为行列数据
微速讯:飞沫传播图片_飞沫传播
每日讯息!【财经分析】“意料之中”与“预期之外” 一季度债市踌躇中展现韧性
国产商用卫星上架电商:折后200万起
全球讯息:双电机三把锁!比亚迪F品牌“SF”谍照再曝光:或于6月发布
天天通讯!43万起 新一代长轴版奔驰GLC开售 网友:给我一个不买理想L9的理由
当前信息:《流浪地球2》摄影指导:没觉得中国电影比别人差
焦点热议:广东检出1例“恐龙血”:Hh孟买血型系统 比Rh还稀有
宿州埇桥:烧鸡展翅飞出一片“新天地”
Twitter营销教程_编程入门自学教程_菜鸟教程-免费教程分享
世界速递!skywalking插件工作原理剖析
全网最详细中英文ChatGPT-GPT-4示例文档-类比语句智能生成从0到1快速入门——官网推荐的48种最佳应用场景(附python/node.js/curl命
全球观察:利用Jackson序列化实现数据脱敏
特斯拉Model 3起火殃及宝马新车 车主索赔法院如此判决
新疆阿瓦提长绒棉:清爽透气纯棉背心9.9元/件狂促
小伙戒指卡手遇130名消防员演训:正好现场教学 科普一定不能硬拽
每日热门:城会玩!印度法官无法判决向ChatGPT求助 专家称或成全球法院系统标配
专为小姐姐打造!雅迪冠能Q9发布:超级续航+超级好看
环球讯息:清明将至,我省各地倡导文明祭祀育新风—— 追思亲人,如何更好“重情”
当前消息!Microsoft Edge 分屏 推荐
国家统计局:3月份采购经理指数延续扩张走势
世界速看:社保基金2022年四季度新进30股 增持64股
天天快看点丨法拉第未来发布会只展示了个车架 贾跃亭还有这些问题需要回答
女子带孩子吃饭故意往菜里扔头发 店家看监控发现:网友吐槽教坏孩子
号称德国500年纯酿造法!特斯拉推出啤酒GigaBier:3瓶卖667元
全球通讯!微软、索尼等巨头纷纷退出:全球最大游戏展E3宣布取消
当前速看:15.86万元起 新款大众途岳上市:换1.5T发动机、能喝92号油
助力“科技+产业+金融”良性发展 上海首单非公开科创债发行
让退化的森林再获新生
天天滚动:比亚迪不去美国 照样做大哥
世界观速讯丨海底捞2022年营收347亿!“最牛打工妹”杨利娟接任后扭亏为盈赚了13亿
天天热资讯!4G比5G更成熟 越来越多用户认可?三大运营商猛推5G 2025年将连接超10亿
熔断和降级有什么区别?
资讯:国际金融市场早知道:3月31日
全球播报:上证报:美元拐点将至,分析师称人民币资产或有望成为避险资产
当前播报:冯小刚主演 中国版《忠犬八公》今日上映:日本版曾感动无数人
视讯!发布/上市时间来了!NV RTX 4070国行售价大曝光:玩家直呼老黄良心了
读SQL进阶教程笔记03_自连接
pcm音频的录制、播放及转换
全球观点:非洲致命疾病 出现症状24小时内死亡:医生直呼病毒可怕引外界担心
快报:媒体:谁在开发“一键脱衣”App 行为龌龊已触犯法律 应严惩开发者
环球热文:新疆新鑫矿业(03833.HK)2022年度纯利增44.4%至7.45亿元 末期息0.15元
【世界新视野】美国火车又双叒叕脱轨了:装乙醇车厢爆炸起火
SSD还要降价!今年是涨不回来了
全球消息!实测一个月 我发现了家用脱毛仪的真相
全球资讯:FF91量产了 不过市场里已经没了贾老板的位置
全球速递!2022年全球新能源销冠 每天进账11亿!“技术为王”的比亚迪做对了什么?
全球资讯:来月经能吃人参果吗?
“门口五不放,放了家运衰”,5种东西是啥?老祖宗的经验之谈
关注:01、关于满减优惠券可叠加使用场景下的动态规划算法
当前视点!Spring AOP官方文档学习笔记(一)之AOP概述
全球焦点!魅族20系列价格公布:2999元起、无界顶配8499元!
当前头条:Epic要免费送大作《消逝的光芒》增强版了:立省百元!网友:E宝YYDS
香蕉、蜂蜜治疗便秘?又骗我好多年
当前热议!俄妹COS《生化危机1》吉尔 战斗服难掩好身材
今头条!【kafka】-生产环境问题-报错Maximum application poll interval
热议:流畅、稳定全面进化:魅族Flyme 10正式发布
天天资讯:17999元 ROG新款XG Mobile显卡坞上架:175W移动版RTX 4090
天天看点:魅族Flyme Auto车机系统正式发布:交互完全不输华为问界
世界观点:满血标准版48个月不卡!魅族20发布:2999元起
每日观点:3999元起 魅族20 PRO发布:魅族史上最高标准旗舰
环球热资讯!React Router 备忘清单_开发速查表分享
每日观点:希尔排序
环球微动态丨强网杯2022 GameMaster
环球视讯!128只债券推迟或取消发行
全球新资讯:李强会见博鳌亚洲论坛理事会成员
当前焦点!一款在我国卖不好的手机:真实销量把苹果都拉下马了
非洲再现致命性疾病:出现症状24小时内死亡
每日看点!魅族20 INFINITY无界版由京东方供屏:采用四边等窄设计
最新:元气森林官方发车:0糖0脂气泡水+燃茶多口味饮料混合囤货 2.8元/瓶新低
煤油心目中的魅族王者归来 三年回到国内中高端市场TOP5
环球快资讯:游戏行业也衰退?EA拟裁员6%减少办公空间
环球观焦点:张译《他是谁》豆瓣评分两天再降0.2:刑侦局你给我讲爱情?
一箭四星!中国金牌火箭长二丁火箭又一次成功:31年来超高可靠性
环球热讯:距《你的名字》仅一步之遥:新海诚《铃芽之旅》票房破4亿
山东高速股东户数下降2.82%,户均持股74.45万元
用户吐槽下载视频会员到期不能看 客服:需重新开通会员
天天快资讯:官方认证“全国美食地图”来了:快看看你家乡上榜没
【播资讯】业界首创!台铃发布水冷氢能两轮车:备用氢罐随身带 续航无压力
中科院联合研发技术!小米米家全效空气净化器明天开售:首发3699元
环球速递!苹果WWDC大会定档!iOS 17将至 看看你的iPhone还能不能升
【世界新要闻】NEXON新作TPS《幕后高手》开启不限量最终测试
使用pinctrl和gpio子系统开发GPIO驱动正点原子IMX6ULL阿尔法板的LED灯
Topaz Video AI V3.1.10 视频降噪升画质工具 安装教程(windows/macos版)
热讯:DBSAT脚本快速收集方法
实战SQL优化(以MySQL深分页为例)