最新要闻
- 美国债务上限谈判出现曙光 日元价格跌破年内新低
- 全球热点评!小米Civi 3首发天玑8200 Ultra!小米影像大脑更强了:连拍提速235%
- 报告称:81%员工不认为其工作可以被AI取代-天天热点
- 7450MB/s!三星990 Pro旗舰SSD价格腰斩:2TB只要1229元
- 每日时讯!发条朋友圈就能赚钱?支付宝辟谣:“朋友圈出租”是骗局
- 头条:魔兽国服关了114天 暴雪选择躺平:工作室脚本泛滥 玩家遭殃
- 国家金融监督管理总局官方微信公众号今日上线 世界讯息
- 预售价13.98-14.98万元 北京现代MUFASA定名沐飒 全球时讯
- 稻香村旗舰店:稻香私房粽子4只9.9元狂促(4粽4味)|今日快讯
- 天天百事通!Redmi Book 14轻薄本第三大升级公布:4000元档颜值绝了
- 一老年代步车当街起火:爷孙两人被严重烧伤
- 纯白YYDS!魅族20白色款3199元起开始预约:3年质保
- 女生遭两闺蜜PUA长达8年被骗百万 网友提醒:警惕“贬低式关系”
- 2023广州李荣浩演唱会需要预约吗?
- 周杰伦好像被舞伴碰瓷 周杰伦表情一脸错愕(图)_环球时讯
- 环球关注:亚瑟首款传说皮肤 《王者荣耀》520皮肤今晚上架:打包250元 你买吗?
广告
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
【世界独家】TimescaleDB VS TDengine:写入性能和查询性能是 TDengine 的 1/6、1/28
【资料图】
基于第三方基准性能测试平台 TSBS(Time Series Benchmark Suite) 标准数据集,TDengine 团队分别就 TSBS 指定的 DevOps 中 cpu-only 五个场景,对时序数据库(Time Series Database,TSDB)TimescaleDB 和 TDengine 进行了对比测试。本文将会从写入、存储、查询及资源开销等几大维度为大家汇总分析测试结果。为确保结果具有可比性,本次测试选用 TimescaleDB 2.6.0 版本。为获得较好的性能,TimescaleDB 需要针对不同的场景设置不同的 Chunk 参数,不同场景下参数的设置如下表所示:场景一 | 场景二 | 场景三 | 场景四 | 场景五 | |
设备数目 | 100 | 4000 | 100,000 | 1,000,000 | 10,000,000 |
Chunk 数目 | 12 | 12 | 12 | 12 | 12 |
Chunk 持续时间 | 2.58 天 | 8 小时 | 15 分 | 15 秒 | 15 秒 |
Chunk 内记录数 | 2,232,000 | 11,520,000 | 9,000,000 | 1,500,000 | 15,000,000 |
写入性能最高达到了 TimescaleDB 的 6.7 倍
在 TSBS 全部的 cpu-only 五个场景中,TDengine 写入性能均优于 TimescaleDB。相比 TimescaleDB,TDengine 写入速度最领先的场景是其 6.7 倍(场景二),最少也是 1.5 倍(场景五),而且对于场景四,如果将每个采集点的记录条数由 18 条增加到 576 条,TDengine 写入速度就达到了 TimescaleDB 的 13.2 倍。此外,TDengine 在写入过程中消耗的 CPU 资源和磁盘 IO 开销也是最低的。不同场景下写入性能对比
不同场景下写入性能的对比(metrics/sec. 数值越大越好)从上图可以看到,在全部五个场景中,TDengine 的写入性能全面超越 TimescaleDB。在场景二中 TDengine 写入性能最大达到了 TimescaleDB 的 6.74 倍,在差距最小的场景五中,也达到了 TimescaleDB 的 1.52 倍。写入过程资源消耗对比
但仅凭数据写入速度,并不能全面地反映出 TDengine 和 TimescaleDB 在不同场景下数据写入的整体表现。为此我们以 1,000,000 devices × 10 metrics (场景四)为例,检查数据写入过程中的服务器和客户端的整体负载状况,并以此来对比 TDengine 和 TimescaleDB 在写入过程中服务器/客户端节点的资源占用情况,这里的资源占用主要包括服务器端的 CPU 开销/磁盘 IO 开销和客户端 CPU 开销。服务端 CPU 开销
写入过程中服务器 CPU 开销上图展示了在场景四写入过程之中服务器端 CPU 负载状况。可以看到,TDengine 和 TimescaleDB 在返回给客户端写入完成消息以后,都还继续使用服务器的资源进行相应的处理工作,这点上,TimescaleDB 尤为明显,TimescaleDB 在 7x 秒的时候即反馈客户端写入完成,但是其服务器端仍然在调用 CPU 资源进行数据压缩和整理工作,当然整个工作带来的 CPU 负载相对而言并不高,只有其峰值 CPU 开销的一半左右,但是其持续时间相当长,接近净写入时间的 4 倍,远长于 TDengine。TDengine 对服务器的 CPU 需求较小,峰值也仅使用了 17% 左右的服务器 CPU 资源。由此可见,TDengine 独特的数据模型不仅体现在时序数据的写入性能上,也体现在整体的资源开销上。磁盘 I/O对比
写入过程中服务器 IO 开销上图展示了 1,000,000 devices × 10 metrics (场景四)两大系统在数据写入过程中服务器端磁盘写入状态。结合服务器端 CPU 开销表现,可以看到,两大数据库的 IO 动作与 CPU 均呈现出同步活跃状态。在写入相同规模数据集的情况下,TDengine 在写入过程中对于磁盘写入能力的占用远小于 TimescaleDB,整体写入过程只占用了部分磁盘写入能力(125MiB/Sec. 3000IOPS)。从图上能看到,对于两大数据库来说,数据写入过程中磁盘的 IO 瓶颈是确实存在的,但 TimescaleDB 写入过程对于写入的消耗远超过了 TDengine 对磁盘写入能力的需求。客户端 CPU 开销
写入过程中客户端 CPU 开销从上图可以看到,客户端上 TDengine 对 CPU 的需求大于 TimescaleDB ,TDengine 在客户端峰值瞬间达到了 56%,然后快速回落,其在客户端的开销相比于 TimescaleDB 多了 1 倍。但综合服务器与客户端的资源开销来看,TDengine 写入持续时间更短,在系统整体 CPU 开销上 TDengine 仍然具有相当大的优势。查询性能最高达到了 TimescaleDB 的 28.6 倍
在场景一(只包含 4 天数据)与场景二的 15 个不同类型的查询中,TDengine 的查询平均响应时间全面优于 TimescaleDB,而且在复杂查询上优势更为明显,同时具有最小的计算资源开销。相比 TimeScaleDB,场景一中 TDengine 的查询性能是其 1.1 ~ 28.6 倍,场景二中 TDengine 的查询性能是其 1.2 ~ 24.6 倍。在查询性能评估部分,我们使用场景一和场景二作为基准数据集。在查询性能评估之前,对于 TimescaleDB,我们采用上文出现的 TimescaleDB vs. InfluxDB 对比报告中推荐配置,设置为 8 个 Chunk ,以确保其充分发挥查询性能。在整个查询对比中,TDengine 数据库的虚拟节点数量(vnodes)保持为默认的 6 个,其他的数据库参数配置为默认值。4,000 devices × 10 metrics查询性能对比
由于部分类型(分类标准参见 TimescaleDB vs. InfluxDB 对比报告)单次查询响应时间非常短,为了更加准确地测量每个查询场景的较为稳定的响应时间,我们将单个查询运行次数提升到 5,000 次,然后使用 TSBS 自动统计并输出结果,最后结果是 5,000 次查询的算数平均值,使用并发客户端 Workers 数量为 8。下表是场景二 (4,000 设备)下两大数据库的查询性能对比结果。查询分类 | TDengine | TimescaleDB | TimescaleDB/TDengine | |
Simple Rollups | single-groupby-1-1-1 | 0.94 | 3.27 | 347.87% |
single-groupby-1-1-12 | 1.92 | 5.07 | 264.06% | |
single-groupby-1-8-1 | 2.09 | 4.56 | 218.18% | |
single-groupby-5-1-1 | 1.08 | 3.34 | 309.26% | |
single-groupby-5-1-12 | 3 | 7.02 | 234.00% | |
single-groupby-5-8-1 | 2.6 | 9.6 | 369.23% | |
Aggregates | cpu-max-all-1 | 1.3 | 5.54 | 426.15% |
cpu-max-all-8 | 3.36 | 23.72 | 705.95% | |
Double-Rollups | double-groupby-1 | 266.69 | 5467.91 | 2050.29% |
double-groupby-5 | 446.23 | 10984.63 | 2461.65% | |
double-groupby-all | 686.42 | 16660.7 | 2427.19% | |
Thresholds | high-cpu-1 | 2.23 | 4.05 | 181.61% |
high-cpu-all | 3,508.00 | 4328.64 | 123.39% | |
Complex Queries | groupby-orderby-limit | 1,527.02 | 12784.92 | 837.25% |
lastpoint | 133.13 | 755.37 | 567.39% |
资源开销对比
由于部分查询持续时间特别短,因此我们并不能完整地看到查询过程中服务器的 IO/CPU/网络情况。为此我们针对场景二以 Double rollups 类别中的 double-groupby-5 查询为例,执行 1,000 次查询,记录整个过程中 TDengine、TimescaleDB 两个软件系统在查询执行的整个过程中服务器 CPU、内存、网络的开销并进行对比。查询过程中服务器 CPU 开销如上图所示,两个系统在整个查询过程中 CPU 的使用均较为平稳。TDengine 在查询过程中整体 CPU 占用约 80%,使用的 CPU 资源最高,TimescaleDB 在查询过程中瞬时 CPU 占用约 38%。由于 TDengine 完成全部查询的时间仅 TimescaleDB 1/20,因此虽然其 CPU 稳定值是 TimescaleDB 的 2 倍多,但整体的 CPU 计算时间消耗只有其 1/10 。- 服务器内存状况
- 服务器网络带宽
100 devices × 10 metrics 查询性能对比
对于场景一(100 devices x 10 metrics),TSBS 的 15 个查询对比结果如下:查询分类 | TDengine | TimescaleDB | TimescaleDB/TDengine | |
Simple Rollups | single-groupby-1-1-1 | 0.91 | 2.93 | 321.98% |
single-groupby-1-1-12 | 1.83 | 4.87 | 266.12% | |
single-groupby-1-8-1 | 2.09 | 4.3 | 205.74% | |
single-groupby-5-1-1 | 1.03 | 3.19 | 309.71% | |
single-groupby-5-1-12 | 2.94 | 6.38 | 217.01% | |
single-groupby-5-8-1 | 2.63 | 5.91 | 224.71% | |
Aggregates | cpu-max-all-1 | 1.27 | 5.55 | 437.01% |
cpu-max-all-8 | 3.46 | 22.83 | 659.83% | |
Double-Rollups | double-groupby-1 | 7.79 | 116.66 | 1497.56% |
double-groupby-5 | 12.1 | 346.48 | 2863.47% | |
double-groupby-all | 17.31 | 489.04 | 2825.19% | |
Thresholds | high-cpu-1 | 2.05 | 3.92 | 191.22% |
high-cpu-all | 96.75 | 104.68 | 108.20% | |
Complex Queries | groupby-orderby-limit | 47.48 | 367.4 | 773.80% |
lastpoint | 3.95 | 17.64 | 446.58% |
TimescaleDB 占用的磁盘空间最高达到 TDengine 的 26.9 倍
下图是TDengine 和 TimescaleDB 数据完全落盘以后,比较了两个系统在不同场景下的磁盘空间占用:磁盘空间占用(数值越小越优)在磁盘空间的占用上,从上图可以看到,TimescaleDB 在全部五个场景下的数据规模均显著大于 TDengine,并且这种差距随着数据规模增加快速变大。TimescaleDB 在场景四和场景五中占用磁盘空间是 TDengine 的 25.6 倍和 26.9 倍。写在最后
从上述 TSBS 测试报告中我们可以得出结论,不管是在写入性能、查询性能还是存储性能,TDengine 比 TimescaleDB 都略胜一筹,且不论是服务器的 CPU 还是 IO 抑或是客户端的开销统计,TDengine 均远优于 TimescaleDB。尤其本次性能测试还是基于 Timescale 打造的基准性能测试平台 TSBS 进行的,测试结果的公平公正性可见一斑。具体到实践上,在八五信息的新能源电力物联网平台项目,曾经使用的数据库便是 TimescaleDB,后面因为种种原因,他们选择应用 TDengine 升级数据架构,关于本次案例的具体信息可以查看《代替 TimescaleDB,TDengine 接管数据量日增 40 亿条的光伏日电系统》。为了方便大家验证测试结果,本测试报告支持运行测试脚本一键复现,欢迎各位检验。同时,我们也欢迎大家添加 小T vx:tdengine1,加入 TDengine 用户交流群,和更多志同道合的开发者一起探讨数据处理难题。关键词:
-
【世界独家】TimescaleDB VS TDengine:写入性能和查询性能是 TDengine 的 1/6、1/28
基于第三方基准性能测试平台TSBS(TimeSeriesBenchmarkSuite)标准数据集,TDengine团队分别就TSBS指定的De
来源: -
世界百事通!夜莺官方文档优化第一弹:手把手教你部署和架构讲解,消灭所有部署失败的 case!干!
前置说明各种环境的选型建议Dockercompose方式:仅仅用于简单测试,不推荐在生产环境使用Dockercompose,升
来源: 【世界独家】TimescaleDB VS TDengine:写入性能和查询性能是 TDengine 的 1/6、1/28
世界百事通!夜莺官方文档优化第一弹:手把手教你部署和架构讲解,消灭所有部署失败的 case!干!
直播预告 | 员工在公司体验感UP,原因竟然是这个......
美国债务上限谈判出现曙光 日元价格跌破年内新低
全球热点评!小米Civi 3首发天玑8200 Ultra!小米影像大脑更强了:连拍提速235%
报告称:81%员工不认为其工作可以被AI取代-天天热点
7450MB/s!三星990 Pro旗舰SSD价格腰斩:2TB只要1229元
每日时讯!发条朋友圈就能赚钱?支付宝辟谣:“朋友圈出租”是骗局
头条:魔兽国服关了114天 暴雪选择躺平:工作室脚本泛滥 玩家遭殃
国家金融监督管理总局官方微信公众号今日上线 世界讯息
《安富莱嵌入式周报》第312期:开源磁场照相机,仿生神经元PCB,开源无线耳机,手机系统PalmOS移植到各种单片机,开放系统组装协议OSAP 环球聚看点
今日精选:第141篇:微信小程序wx.request接口报错(errno: 600001, errMsg: "request:fail -2:net::ERR_
阿里云微服务引擎 MSE 全新升级,实用能力更普惠,最高降幅 75%
焦点信息:沉默的答案!直播源码禁言技术的实现
spring框架_常见工厂后处理器 最新资讯
预售价13.98-14.98万元 北京现代MUFASA定名沐飒 全球时讯
稻香村旗舰店:稻香私房粽子4只9.9元狂促(4粽4味)|今日快讯
天天百事通!Redmi Book 14轻薄本第三大升级公布:4000元档颜值绝了
一老年代步车当街起火:爷孙两人被严重烧伤
纯白YYDS!魅族20白色款3199元起开始预约:3年质保
女生遭两闺蜜PUA长达8年被骗百万 网友提醒:警惕“贬低式关系”
2023广州李荣浩演唱会需要预约吗?
全球热资讯!HTTP1.0、HTTP1.1、HTTP2.0 协议的特点
周杰伦好像被舞伴碰瓷 周杰伦表情一脸错愕(图)_环球时讯
环球关注:亚瑟首款传说皮肤 《王者荣耀》520皮肤今晚上架:打包250元 你买吗?
白嫖7万2!岚图追光四大选装包限时免费:入门即顶配_天天最资讯
对话不再“一次性”:BingChat新增聊天内容导出功能
一景区沙下埋20厘米三角钉 越野车轮胎被扎:官方通报调查结果 全球通讯
我国今年沙尘爆发原因找到了:蒙古国贡献超40% 冷锋、气旋天气主导
劳模登讲台 思政“活”起来
恶俗婚闹哪里最多_大家都见过哪些恶俗的婚闹-环球热门
全球新动态:Take-Two暗示《GTA6》明年问世
00后裸辞旅游被批 家里有矿吗:本人回应:享受当下 拒绝加班 焦点信息
3万元钻戒如今只值2千 越来越多新人告别智商税 婚礼用十几元道具戒指
热议:特斯拉花钱打广告 能加速马斯克上天吗?
华为手机麒麟新处理器曝光:搞定7nm工艺?
键凯科技05月17日被沪股通减持1.77万股 全球今日讯
Linux学习须牢记这几点|天天速看料
在岸、离岸人民币对美元汇率双双破“7” 专家:人民币不存在大幅贬值空间-世界微速讯
每日热点:把调研成果转化为改进工作实际举措
聚焦:华为5.5G助力 上海移动:2030年实现双万兆小区全覆盖
天天报道:9.4分你看没?腾讯:《漫长的季节》是5年来豆瓣评分最高本土剧
世界气象组织:有记录以来最热年要来了 全球气温推向未知领域 环球速看
热门中概股涨跌不一 腾讯音乐涨超8% 每日信息
两个电风扇放一起 就能使人窒息身亡?夏天这件事真的要注意 即时焦点
中国移动联合华为发布“云手机”:老爷机也能玩大型游戏
我所知道的Handler
百事通!解决xorm逆向工程问题
小事记 | 龙光清盘呈请聆讯押后 华夏幸福下属公司列为失信被执行人_播资讯
上映1天票房破亿!美国大片《速度与激情10》豆瓣7.0分:巨石强森惊喜彩蛋|快看
年轻人第一辆插混SUV来了!深蓝S7将于5月20日开订:20万内最帅最能打?
世界报道:解决《王国之泪》掉帧严重 Switch超频教程来了 稳定30帧运行
华为、小米、OPPO、vivo联手:快充终于要统一了?!
男子暴饮暴食后血液滤出400毫升油脂:甘油三酯严重超标|每日精选
是故学然后知不足断句_是故学然后知不足
整式的乘除计算题及答案_整式的乘除计算题
网友模仿《漫长的季节》秦昊食谱 导致将自己送进医院引发热议
任天堂Switch平台《塞尔达传说:王国之泪》上市三天取得好成绩 销量破千万
索尼将于5月25日举行新一期游戏发布会 市场高达一个小时
特斯拉考虑在印度建立一家汽车制造工厂 未讨论降低电动汽车进口关税
Steam Deck掌机因振动反馈技术惹上麻烦 Valve遭到起诉
《王者荣耀》蝉联2023年4月全球手游畅销榜冠军 新角色姬小满登场
演员许娇晒出泳装照引发网友热议 正面回复称大大方方展示
电影《变形金刚7》发布全新海报 中国内地正式定档6月9日上映
日本最大网络广告代理商推出日语最大级别AI语言模型 可商业使用
童年回忆《知音漫客》将于今年5月至10月之间休刊 曾连载众多知名作品
世界观天下!管理好一个团队的方法(这样管理好一个团队)
讯息:首日票房破1亿!《速度与激情10》开分9.4 豆瓣首批口碑出炉
华为MateBook E 2023款来袭:重新定义二合一笔记本
雷军喝了一杯FENDI联名喜茶:杯子跟小米13绝配 环球热推荐
官方回应兵马俑发掘还要700年:不是那样的
完美兼容安卓!苹果发布Beats Studio Buds+真无线蓝牙耳机:降噪提升1.6倍 环球观热点
京东太猛,手写hashmap又一次重现江湖-全球今日报
【世界热闻】SpringBoot+MyBatis+MySQL电脑商城项目实战(四)用户注册—控制层
自定义一个简单的Task调度器、任务循环调度器、TaskScheduler
货币市场日报:5月17日
世界要闻:苹果WWDC来了!iOS 17有三大变化
新消息丨葡萄健康栽培与病虫害防控(关于葡萄健康栽培与病虫害防控的简介)
每日快看:318川藏线巨石滚落砸烂一轿车:车内人员躲过一劫
荣耀90 Pro真机曝光:“星钻银”配色耀眼 灵感来自珠宝王冠-环球快看点
马斯克称特斯拉电动皮卡将在今年开始交付 不打算卸任CEO-最新资讯
比用毛巾还便宜 不怕有味儿:大牌洗脸巾7.9元100抽狂促
美国教授用ChatGPT判定学生论文抄袭:结果尴尬!聪明反被聪明误|今日热门
天天快资讯:时隔3年再“发车”,“北斗专列”如何升级?
【Linux】详解Centos7的下载安装配置
焦点日报:【财经分析】多重因素影响REITs市场表现 短期调整无碍机构长期看多
概念动态|机器人新增“比亚迪概念”
世界球精选!你会买吗?澳航推“邻座无人”服务 最低仅140元
十年果粉换OPPO Find X6 Pro后直呼惊艳:果断把iPhone 14 Pro挂闲鱼卖掉|世界聚看点
视讯!拳头性别歧视案尘埃落定 将赔偿每位女性最多15万刀
男子为稳坐榜一大哥骗取乙方百万:全部打赏给女主播 被判刑
世界报道:巴西貘被饲养员挠痒一脸舒适 网友:长得东拼西凑但依然很萌
上海市首届中青年工程师创新创业大赛启动
债市日报:5月17日
每日机构分析:5月17日 环球焦点
小米发布米家空调巨省电2匹:新一级能效 一年省380度电
【天天速看料】孟羽童接私活被开除 专家称老板不能要求员工没副业
全球微头条丨PC已死?联想不同意!
重新打趴中国厂商 韩国不服输:显示面板要夺回第一|天天时快讯
最后的低价?2TB三星980 Pro最低959到手