最新要闻
- “格物致知 叩问苍穹”2023年中国航天踏上新征程
- 世界热头条丨海南房子合适买吗?《滨江商业广场》优势不足全面解读~
- 世界今头条!小米13 Ultra被抢购一空!雷军:备货非常困难
- 全球热点!发改委:下大力气稳定汽车消费 鼓励车企开发乡村“专车”
- 32.88万起售 全新林肯航海家上市:环绕大屏加持如开星际飞船
- 环球实时:暗光长焦加持!OPPO Reno10 Pro+来了:堪称“小Find X6”
- 每日快看:误入“小人国”!华为P60 Pro长焦微距效果惊艳
- 活性水是什么意思?活性水和直饮水的区别是什么?
- 红眼病是怎么引起的?红眼病的症状有哪些?
- 天天观察:香港金管局再承接69.16亿港元沽盘?
- 打不过啊!本赛季老鹰对绿军0胜5负 场均净负13.2分
- 快看点丨极端高温出现 印度一颁奖礼热死11人:每人获赔4.1万
- 热门:开卷!微软拟自研AI芯片“戴安娜”:降低机器学习成本
- 黑入iPhone仅需一条iMessage消息!多起NSO“零点击”攻击曝光
- 米粉首发入手小米13 Ultra:实在太香了 小米11 Pro终于退休了
- 一体成型无拼接:康巴赫整竹双面砧板69元新低(90元券)
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
天天看热讯:云时代,MySQL到ClickHouse数据同步产品对比推荐
ClickHouse 在执行分析查询时的速度优势很好的弥补了 MySQL 的不足,但是对于很多开发者和DBA来说,如何将MySQL稳定、高效、简单的同步到 ClickHouse 却很困难。本文对比了 NineData、MaterializeMySQL(ClickHouse自带)、Bifrost 三款产品,看看他们在同步时的差异。
对比结果概述
整体上,NineData(官网:https://www.ninedata.cloud/)的数据复制功能在功能、性能表现最突出。其次是Bifrost和ClickHouse自带的MaterializeMySQL。NineData在增量DDL的处理、字段映射的准确性、无主键表、以及功能丰富度上最强(数据校验、过滤、限流等),详细的对比如下图:
MySQL到ClickHouse数据同步产品对比结果概述
(相关资料图)
结构映射对比
在做了详细对比之后,对于基础类型,只有NineData考虑的更加完整,例如MySQL的datetime需要映射到ClickHouse的DateTime64,否则则可能出现数据丢失。如果使用Biforst或MaterializeMySQL等其他产品均映射到datetime可能会造成一定程度的数据精度丢失。
此外,在对比了MySQL全部数据类型之后,发现NineData支持更完整,例如对JSON类型、几何数据、地理信息仅NineData支持。此外,对于基础类型,也只有NineData考虑更加细致,使用Biforst或MaterializeMySQL等其他产品则可能导致精度丢失,从而造成数据丢失。
详细的对比如下图:
无主键表支持
NineData对记录做了特殊的标记处理,所以很好的支持了无主键表的数据同步。而MaterializeMySQL、Biforst均不支持。
详细的对比如下图:
无主键表支持情况
增量DDL
对于数据增量同步,支持好各种类型的DDL是保障同步链路持续稳定的关键,NineData在无主键表DDL支持、字段删除、字段名修改等特殊操作均做了适配处理,可以很好的保障复制链路的问题。同时,NineData还提供了可视化的错误修复和跳过功能,可以最大限度的保障链路持续稳定。
详细的对比如下图:
增量DDL对比结果
限流、对比、过滤等
除了前面介绍的一般功能之外,为了提升数据质量、保障稳定,NineData还支持了包括数据对比、运行中的限流、数据过滤等功能。具体的说明如下:
增量DDL 限流、对比、过滤等对比结果
同步性能对比
这里使用 sysbench工具生成了5000万行记录进行全量性能对比,再生成约1800万次DML(约5GB Binlog)进行增量性能对比。
对比中,全量同步 NineData 性能为36.2W RPS(每秒同步记录数)为最高;增量同步则是 ClickHouse 自带的同步工具 MaterializeMySQL 最高,需要注意,MaterializeMySQL 在错误处理上比较简单,如果报错则需要全部重新同步。
详细的对比如下:
- 全量同步
通过sysbench生成10张表,每张表500W记录(5000W行),数据文件大小约为12G:
同步性能对比
- 增量同步
通过sysbench生成5G大小的BinLog日志(约1800W次DML),再进行增量同步:
增量同步
总结
NineData(https://www.ninedata.cloud/)在功能上领先其他同步工具,特别是字段类型的全面适配和增量复制期间DDL的支持度,并且在动态限流、数据对比、监控等能力上也支持的最完善。
所以,如果想把MySQL的数据实时同步到ClickHouse,推荐使用NineData,不仅使用简单(SaaS),并在满足功能和性能的前提下,实现了字段类型的无损转换和数据的实时复制,很好的解决MySQL 同步数据到ClickHouse的问题。
补充说明
当前各个云厂商虽然都提供ClickHouse托管服务,但是另一方面云厂商又都在发展自己的数仓产品,在同步功能支持上通常仅对自家的数仓产品支持比较好,而对ClickHouse同步支持都很薄弱。此外,开源工具Canal也因为不能很好的支持结构同步,使用和维护起来并不方便。
关键词:
-
天天看热讯:云时代,MySQL到ClickHouse数据同步产品对比推荐
ClickHouse在执行分析查询时的速度优势很好的弥补了MySQL的不足,但是对于很多开发者和DBA来说,如何将M...
来源: python 多线程详解
天天看热讯:云时代,MySQL到ClickHouse数据同步产品对比推荐
全球焦点!MySQL事务实现原理
“格物致知 叩问苍穹”2023年中国航天踏上新征程
世界热头条丨海南房子合适买吗?《滨江商业广场》优势不足全面解读~
世界今头条!小米13 Ultra被抢购一空!雷军:备货非常困难
全球热点!发改委:下大力气稳定汽车消费 鼓励车企开发乡村“专车”
32.88万起售 全新林肯航海家上市:环绕大屏加持如开星际飞船
环球实时:暗光长焦加持!OPPO Reno10 Pro+来了:堪称“小Find X6”
每日快看:误入“小人国”!华为P60 Pro长焦微距效果惊艳
三星7652机身内存是多少?三星7652参数配置
小米2sc是哪一年上市的?小米2sc参数配置
活性水是什么意思?活性水和直饮水的区别是什么?
红眼病是怎么引起的?红眼病的症状有哪些?
三星笔记本NC10显卡怎么下载?三星笔记本nc10显卡配置
天天观察:香港金管局再承接69.16亿港元沽盘?
打不过啊!本赛季老鹰对绿军0胜5负 场均净负13.2分
国家发展改革委:正在抓紧研究起草关于恢复和扩大消费政策文件
快看点丨极端高温出现 印度一颁奖礼热死11人:每人获赔4.1万
热门:开卷!微软拟自研AI芯片“戴安娜”:降低机器学习成本
黑入iPhone仅需一条iMessage消息!多起NSO“零点击”攻击曝光
米粉首发入手小米13 Ultra:实在太香了 小米11 Pro终于退休了
一体成型无拼接:康巴赫整竹双面砧板69元新低(90元券)
环球热消息:安卓微信暗黑模式怎么设置_设置暗黑模式的方法
环球报道:魏牌全面做强大六/七座市场,“蓝山/高山双旗舰组合”闪耀上海车展
天天热议:软件安全之CRC检测
世界新资讯:六(二)、springMVC数据转换 jacson配置,json中的date由Date格式化输出
[nacos]JAR启动并加载/解析Nacos yml格式的配置文件时,报“java.nio.charset.MalformedInputException:
天天看热讯:山西省政府存量债券柜台市场交易流通业务上线
全国股份转让系统:北京长峰医院因发生重大风险事件,今日起股票停牌
世界快资讯:性能看齐RTX 3060 硬件发烧友打造无风扇显卡
世界热讯:被称为“冰箱杀手”的李斯特菌 到底有多恐怖?
【环球播资讯】小米13 Ultra拆解出炉:后摄几乎占满了主板
全球即时:小米13 Ultra预售秒罄!卢伟冰预言成真:1TB版被抢爆了
79元 小米米家多功能充电台灯开启众筹:一灯多用 秒变手电筒
热头条丨相扑标准动作详解
焦点短讯!4月19日盘前重要公司新闻
天天观速讯丨2023年“泼水节” 西双版纳旅游总收入超21亿元
孔乙己如何再造一个“孔乙己”?
SSD数据不能恢复?或许还有的救
环球视点!最完美的徕卡镜头!小米13 Ultra摄影套装版图赏
新华时评·首季经济形势|巩固企稳回升态势 推动经济运行持续整体好转
观察:实例讲解Playwright(二)
Mysql中的数据类型注意事项
观察:新华时评·首季经济形势|巩固企稳回升态势 推动经济运行持续整体好转
播报:美股异动 | 爱立信(ERIC.US)跌超7% 警告成熟市场5G支出将继续缩减
天天观焦点:哈尔滨还要往北300公里 我国在建最北高铁站取得新进展
五一假期返程火车票今日开抢:千万别忘记
【环球报资讯】239元起!小米发布13大新品 价格信息这里一文看
当前观点:今天小米6发售6周年!雷军推荐“钉子户”升级小米13系列
焦点热讯:关于增加东莞银行股份有限公司为东方人工智能主题混合型证券投资基金销售机构同时开通定投及转换业务的公告
今日热门!读SQL进阶教程笔记12_地址与三值逻辑
环球新消息丨312国道宁镇段快速化改造工程进入基层施工新阶段
世界信息:4月18日基金净值:招商瑞泰1年持有混合A最新净值1.0166,涨0.01%
环球焦点!俄罗斯石油被抢:沙特和阿联酋低价购入 再高价卖给欧洲
松下空调怎么样调睡眠模式 松下空调怎么样
Typora 1.5.12 (windows/MacOs版) 简单高效且实用的Markdown编辑器
环球速递!对JSP(Java Server Pages)的一些理解
关注一季度四川民生数据③丨一季度,四川CPI同比上涨1.2%
一图看懂九号电动远行者F90M:新国标能上牌 90km长续航
全球视点!3299元起 锐龙7000X3D游戏神U战未来:AMD、微软合作优化Win系统
199元!小米游戏手柄发布:支持Steam、三模连接
热门:2023刚过了100多天 从主流到高端手机都如何卷?
环球讯息:手慢无?苹果这些机型或许会在iPhone 15系列推出后停产
最新资讯:不拘一格降人才啥意思_不拘一格降人才
宣传好 贯彻好 实施好——甘肃省电力事体制改革势在必行
世界观察:三星s6818处理器_三星6818
焦点关注:郓城农商银行营业部:开展《反电信网络诈骗法》宣传活动
环球看点!择天记第二季
大专院校包括本科不_大专院校包括本科吗?
【环球新视野】纳税太贵玩家拒领终身XGP 日网假图令晓美焰风评被害
中国铁塔与苏交科战略合作签约仪式举行
北京长峰医院住院部东楼发生火情,情况通报
当前关注:马斯克官宣:将推出AI平台TruthGPT;五粮液成立新能源投资公司?工作人员:正在考察光伏和储能方面丨大公司动态
当前热讯:2023医学考博英语常见的内科词汇:泌尿及男性生殖系统
全球今热点:全面打响夏粮丰产丰收攻坚战
环球即时:04月19日周三机会早知道
世界微头条丨医疗纠纷投诉处理流程
【时快讯】铁塔能源联手品胜电子 推出全球首款电变分离式储能电源
信息:亚马逊加速欧洲扩张卖家只需点两下即可上架全部欧盟国家:亚马逊宣布推出欧洲急速拓展计划(EEA),卖家只需进行两次点击,即可将其业务快速拓展至亚马逊的9大欧
每日速读!Elasticsearch搜索功能的实现(一)--搜索引擎为什么选ES
高起_关于高起简述
最新快讯!饲养员拍打大熊猫被停工 多人求情:网友质疑处罚太重
全球播报:信贷紧缩与衰退预期急剧升温!华尔街最准策略师:极度悲观=风险资产反转信号
【天天热闻】“博客书记”张新实被逮捕,71 岁高龄因贪腐问题被查
当前视讯!02 设置工作环境与环境(一)
环球即时看!不坑盒子(Office,WPS接入人工智能)助你高效办公,掐点准时下班回家。
2023天津春秋喜乐汇相声观演指南
天天即时:环境保护局_关于环境保护局介绍
5999元起 安卓影像之王小米13 Ultra发布:高通发文祝贺
观察:499元 小米米家皮皮灯发布:支持手势操控
腾讯自研芯片“沧海”斩获8大全球第一:远超行业GPU
2600岁“古楠木王”被盗割:11人判刑、修复花费29万元
全球今头条!迷你主机卖到白菜价 零刻12代4核CPU准系统688元
天天微动态丨教你用Python画哆啦A梦、海绵宝宝、皮卡丘、史迪仔!
快资讯:R数据分析:生存数据的预测模型建立方法与评价
天天最新:[快讯]创世达公布2022年年度分红实施方案
环球关注:魔域手游直播(魔域手游蜘蛛刷新点)
淘汰8GB内存 小米13 Ultra售价仅5999元:良心升级不涨价
环球微资讯!小米13 Ultra首发环形冷泵散热:温控甩开一众友商