最新要闻
- 首次10nm以下!三星研发全新4F2内存芯片:面积缩减30% 每日讯息
- 3199元 铭凡UM790 Pro迷你主机上架:锐龙9 7940HS_每日速讯
- OneUI 5.1确认存在锁屏Bug!三星:已进行修复
- 成都刮起剩菜盲盒风!便宜的临期食品供不应求 焦点播报
- 葫芦娃救爷爷 理想ONE陷车:拖车、飞度、一串越野车来救均动弹不得|环球快播报
- 如何改变孩子的坏脾气教育笔记-儿童教育
- 海通证券联合深交所走进广西开展金融帮扶专项活动-天天头条
- 天天快讯:缩减5G基站招标规模 大幅减少5G投资?中移动回应:外界误读
- 天天关注:又一个满血14GB/s!PCIe 5.0 SSD用上巨型风扇 太过分了
- 抗原检测盒优惠了!50人份到手19.9元
- 白玉兰奖入围名单揭晓 网友:正午阳光赢麻了
- 抛弃反人类半幅方向盘 特斯拉Cybertruck电动皮卡实车图:今年必交付 当前热门
- 武磊:客场也能感受球迷的热爱和支持 超越一切对立_天天最资讯
- 手机性价比被吐槽 HTC对元宇宙是真爱:不认同降温说、非常乐观
- Redmi性能王者!K60 Ultra工业设计图曝光 前沿资讯
- 《王者荣耀》体验服爆料:中单法师狂喜 斩杀史诗级优化
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
今日要闻!如何把数据从 TDengine 2.x 迁移到 3.x ?
一.迁移背景:
随着时序数据库(Time Series Database)TDengine 3.0 的发布至今,我们除了在持续地优化产品质量的本身,也一直在努力地提升用户体验。但由于 3.0 底层有大量的重构优化,导致开源版的 2.0 用户无法通过常规途径来升级到 3.0 ,本期文章将会协助大部分开源版用户解决这个问题。
正文:
【资料图】
首先,我们先说下 taosdump 为什么是协助“大部分”开源版用户解决这个问题:
taosdump 的导出行为的本质其实是使用 SQL 进行查询,将数据压缩后输出到本地,导入行为则是通过 STMT 接口再把导出的数据导入新的环境。在内部,它嵌入了一个 TDengine 客户端,通过 -T 参数的线程数配置,并发地把所有 SQL 请求发给数据库,此后,后续的查询工作就是数据库自己的事情了。鉴于以上原因,所以它的导出导入的性能都十分依赖于数据库本身的部署建模是否科学,硬件资源是否充足等因素。
举个简单例子:假如某用户在建表的时候,对于一列本应使用 binary(100) 就足够的数据使用了 nchar(2000),那么等到导出 SQL 执行的时候,性能就会被拖累很多。
因此,能够顺利完成数据导出的用户,应尽量拥有如下几个特征:
- 拥有足够磁盘空间——因为硬盘上的数据是列式压缩,而导出数据为行式压缩。如果选择一次性导出全部数据,建议需要至少留出du -sh$dataDir/vnode --exclude="wal"大小的 3 倍空间(多多益善)。但如果是按照库/表为单位分批导出,或者指定时间范围导出的话,就比较灵活了。
- 数据库日常使用负载不高,在大量导出 SQL 执行时,数据库仍有充足资源可以保障正常生产使用。
- 待迁移的 2.0 数据为测试环境不需担心影响业务,或者生产环境的业务间歇期足够完成数据的导出——这两点需要结合当前导出速度自己评估。
总结而言,导出/导入数据的快慢是由 SQL 执行效率来决定的,而 SQL执行效率的背后又是由部署建模,硬件资源等因素决定的。
只要磁盘空间充足,时间充足,就可以完成导出操作。导入则相对简单,没有额外需求,按照正常的数据库部署思路即可。
因为 taosdump 本身的产品特征决定了在上述特殊情况下,迁移数据会有效率问题,因此这也是我们开发专业的企业版数据迁移工具 taosX 的原因之一。
二.迁移操作
导出方:
对于 2.0 一侧,首先要准备好最新版本的 TDengine 和 taosdump 工具,具体操作如下:
- 把数据库升级到 2.6.0.34,升级注意事项以及操作步骤都可以参考这篇文章:https://www.taosdata.com/engineering/10222.html。(注意:RPM 和 Deb 包不含taosdump,它需要通过安装 taosTools 包获得。 所以建议大家直接使用包含 TDengine 的 Tar 包完成升级。)TDengine 安装包需从 2.6 版本的文档去下载:https://www.taosdata.com/all-downloads。如果使用了 RPM 和 Deb 的话,同样需要通过上述链接下载最新版的 taostool 获取 taosdump工具(当前最新版为 2.4.5)
- 使用 taosdump 把数据导出:
具体操作可参考:https://docs.taosdata.com/2.6/reference/taosdump/
举例:taosdump -o /test -D test -T 4
这条命令会把 test 库的数据,用 4 个线程导出到 /test 目录下面,文件形式如下:
接下来,我们需要把 test 路径下的导出文件,迁移到 3.0 的环境中,准备数据导入。
导入方:
- 3.0 这一侧,新环境我们建议使用最新版,各方面都更好(当前最新版为 3.0.4.1),正常安装部署即可。(同样:RPM 和 Deb 包不含taosdump,它需要通过安装 taosTools 包获得。 所以建议大家直接使用包含 taosdump 的 tar 包完成部署,下载链接:https://docs.taosdata.com/releases/tdengine/)但是如果只能使用 RPM 或者 Deb ,taosTools 则需要从 3.0 的文档单独下载,地址:https://docs.taosdata.com/releases/tools/(当前最新版为2.5.0)
- 导入之前,我们首先要进入导出文件目录下的标红目录,打开里面的 dbs.sql,针对建库 SQL 做一些针对性的调整。尤其需要注意的是 VGROUPS 参数,这是 3.0 的新增参数,代替了此前 2.0 的一系列建表逻辑,默认是 2 ,代表着这个库有 2 个 VGROUP 。如果原本的 2.0 环境使用了 4 个 VGROUP,那么就需要手动添加 "VGROUPS 4" 到建库语句后面,即可保持和 2.0 版本一样的 VGROUP 数量了。(其他参数同理,直接在建库 SQL 后添加即可,至于该语句中 2.0 时代的旧参数则会被导入程序自动屏蔽掉。具体的 3.0 建库参数细节可参考:https://docs.taosdata.com/taos-sql/database/)
示例:
原本的建库语句:
CREATE DATABASE IF NOT EXISTS test REPLICA 1 QUORUM 1 DAYS 10 KEEP 3650 CACHE 16 BLOCKS 6 FSYNC 3000 PRECISION "ms" MINROWS 100 MAXROWS 4096 COMP 2 ;
添加参数后:CREATE DATABASE IF NOT EXISTS test REPLICA 1 QUORUM 1 DAYS 10 KEEP 3650 CACHE 16 BLOCKS 6 FSYNC 3000 PRECISION "ms" MINROWS 100 MAXROWS 4096 COMP 2VGROUPS 4;
- 修改完 dbs.sql 后,便可以执行导入操作了,导入操作本身是比较简单的,具体操作可参考:https://docs.taosdata.com/2.6/reference/taosdump/举例:taosdump -i /test -T 4
这条命令会把 /test 目录下的数据,用 4 个线程导入到当前环境下面,地址默认为 localhost,线程数可根据机器配置酌情设置。
导入完毕之后检验数据内容,确认无误之后,开源版 TDengine 2.0 至 3.0 数据迁移便完成了。
如果上述方案不能帮助我们完成数据迁移,欢迎联系 TDengine 企业版团队做定制化的支持服务。
关键词:
-
今日要闻!如何把数据从 TDengine 2.x 迁移到 3.x ?
一 迁移背景:随着时序数据库(TimeSeriesDatabase)& 160;TDengine3 0的发布至今,我们除了在持续地优化产
来源: 今日要闻!如何把数据从 TDengine 2.x 迁移到 3.x ?
总结Vue3 的一些知识点:Vue3 计算属性
首次10nm以下!三星研发全新4F2内存芯片:面积缩减30% 每日讯息
3199元 铭凡UM790 Pro迷你主机上架:锐龙9 7940HS_每日速讯
OneUI 5.1确认存在锁屏Bug!三星:已进行修复
成都刮起剩菜盲盒风!便宜的临期食品供不应求 焦点播报
葫芦娃救爷爷 理想ONE陷车:拖车、飞度、一串越野车来救均动弹不得|环球快播报
如何改变孩子的坏脾气教育笔记-儿童教育
海通证券联合深交所走进广西开展金融帮扶专项活动-天天头条
最全iOS 上架指南_天天视讯
天天热头条丨Spring Boot + URule 规则引擎,可视化配置太爽了!
亚马逊平台API接口是什么?-全球头条
2 分钟,搞懂 SLO 最佳实践
全网最全Kubernetes(k8s)知识点,看着一篇就够了-当前热讯
【财经分析】推动“1到100”的跨越式发展 长三角崛起生物医药产业“新基建”高地
天天快讯:缩减5G基站招标规模 大幅减少5G投资?中移动回应:外界误读
天天关注:又一个满血14GB/s!PCIe 5.0 SSD用上巨型风扇 太过分了
抗原检测盒优惠了!50人份到手19.9元
白玉兰奖入围名单揭晓 网友:正午阳光赢麻了
抛弃反人类半幅方向盘 特斯拉Cybertruck电动皮卡实车图:今年必交付 当前热门
环球要闻:渗透测试之Payload
7个工程应用中数据库性能优化经验分享
焦点热议:Prometheus笔记-告警规则配置
北京市2023年新增地方政府债务限额1117亿元
收评:沪指午后反弹涨0.35% AI赛道股发力 新能源行业低迷_天天信息
武磊:客场也能感受球迷的热爱和支持 超越一切对立_天天最资讯
手机性价比被吐槽 HTC对元宇宙是真爱:不认同降温说、非常乐观
Redmi性能王者!K60 Ultra工业设计图曝光 前沿资讯
《王者荣耀》体验服爆料:中单法师狂喜 斩杀史诗级优化
全球热消息:导航出错驶入紧急停车带 驶出时被撞 科普:紧急停车带该怎么用
全球视点!内存连续三个季度暴跌 三大厂疯狂减产!想涨价?没门儿
快报:做数据分析的常用方法有哪些?
尚硅谷Hadoop的WordCount案例实操练习出现的bug-环球新视野
JS 里如何实现异步?
如何在上架App之前设置证书并上传应用|全球今头条
海贼王:“七武海”原型揭秘!居然来自30年前游戏《浪漫沙加2》
举报比亚迪排放不达标!长城汽车晒业绩:1-4月同比增长99.1% 买它还是比亚迪?_每日精选
焦点播报:16核R9 7945HX加持!联想公布新版拯救者R9000P参数
世界百事通!法拉第未来官宣:FF 91第一阶段交付5月31日开始 车主先培训
环球视讯!促进跨区域产业链、供应链、创新链、资金链、人才链深度融合,一大批长三角G60科创走廊跨区域合作重点项目签约
广州市花都区秀全中学:720分以上学生可以考虑秀中清北班-世界微头条
易基因:MeRIP-seq等揭示m6A reader YTHDF1在结直肠癌PD-1免疫治疗中的作用|Gut 全球实时
手把手教你在昇腾平台上搭建PyTorch训练环境_天天新要闻
今日上映!《小美人鱼》豆瓣评论:难以接受黑人鱼、强凑CP、毁童年-焦点热门
即时:宝德暴芯x86处理器现身GeekBench 5:坐实就是Intel i3-10105
知名演员罗京民去世 曾饰演许三多的爹:张译等人发文悼念 焦点速递
ST浩源:截至2023年5月20日,公司股东14658户,谢谢对公司的关注!|天天最新
每个.NET开发都应该知道的10个.NET库
关于AWS中VPC下的IGW-internet gateway的创建与说明
升级天玑8200处理器:vivo S17 Pro现身Geekbench
曝小米13 Ultra欧洲售价超1.1万元:比iPhone 14 Pro、华为P60 Pro都贵_世界今日讯
全球球精选!破首发仅7499元!华硕天选4游戏本配锐龙9与RTX4060:高性价比真香
热点!散了吧!特斯拉车顶维权女车主败诉:刹车失灵观点站不住脚 没任何证据证明
《变形金刚7:超能勇士崛起》超燃特辑出炉:保时捷964街头飞车_热资讯
Netty实战(三)
上市公司实控人离婚140亿归女方,盘点彤程新材投资版图
千元神机!荣耀X50首发骁龙6 Gen1:一亿像素加持
育碧再次背离玩家!《刺客信条:幻景》PC端Steam独不占_世界百事通
一眼假的诈骗短信是骗子智商不够吗?官方:这是极高效率筛选受害者
京东618大促攻略:iPhone 14 Pro系列直降1800元 多会员年卡探底|环球视点
百度文心大模型3.5版要来了!李彦宏:大模型将改变世界 环球热门
屹通新材:5月25日融资买入167.73万元,融资融券余额3877.74万元
统信UOS系统开发笔记(一):国产统信UOS系统搭建开发环境之虚拟机安装
揭秘百度IM消息中台的全量用户消息推送技术改造实践
Python工具箱系列(三十三)
海内外直播源码加密技术保障您的隐私安全 焦点快播
Windows下使用docker部署.Net Core 全球今热点
一天斩获3个冠军!全国花游冠军赛北京队“开门红”-快看点
DXO拍照全球第一!华为P60 Pro新增12GB+256GB版本 6488元
单价6.5亿 想坐吗?国产大飞机C919商业首航来了:5月28日、上海至北京_微头条
神操作 小汽车撞倒闯红灯三轮车后居然直接走了 无责变有责
糟糕!下一轮国内油价调整“由跌转涨”:当前上调75元/吨 今日快讯
牌面!福特CEO称特斯拉不是最大竞争对手 比亚迪才是 环球新消息
环球视讯!UE/虚幻 蓝图实现通过http获取数据(以高德地图API为例)&Json格式数据的读取
标准化考场时间同步系统(网络时钟系统)规划建设应用 每日快播
Java设计模式-策略模式|环球快资讯
焦点要闻:美联储加息预期升温 美元兑日元汇率再度站上140
计算机时代变了 NVIDIA黄仁勋:CPU用得越来越少 GPU才是关键|世界实时
【世界快播报】自研火箭发射8颗卫星 韩国表态已成航天强国:仅中美等7国做到
当前快报:跟比亚迪海豚争场子 五菱云朵8月上市:10万级大五座纯电新宠
焦点观察:优派推出新款27寸4K Mini LED显示器:支持96W反向充 2999元
山东一高速现天价救援费:20公里被收11000元 结局大快人心 观天下
世界热点!Fastjson 很快,但不适合我....
每日观点:干瘦肉炒什么配菜好吃?
一季度垃圾短信投诉5万件 官方揭秘:主要是这10家公司发的
18888元求票 五月天黄牛票涨回去了?29名黄牛被查处|当前简讯
你吃过没?商家回应淄博烧烤降温:再不降温我们也受不了|新消息
世界消息!成都一轿车冲进店铺撞坏16个骨灰盒 现场损坏严重:网友称是大众
遥遥领先!华为分布式存储斩获IO500榜全球第一:Intel看不见尾灯
裘皮是什么皮_裘皮的介绍 天天资讯
触达债务上限日期或在两周后 美债收益率延续上行_环球微头条
国际金融市场早知道:5月26日|焦点热讯
刘强东14年为宿迁投入超200亿!宿迁第一高楼启用 未来3年在当地新招上万人
世界热点评!《英雄联盟手游》今日更新:无限火力升级归来 英雄可达25级
刷新世界纪录!中国吊起142米、3068吨“巨无霸”大塔
选择商品的发布类目方式有_选择一款正确发布的商品
今日要闻!学系统集成项目管理工程师(中项)系列27_10大管理47过程、输入输出工具和技术(2版教材)
今天国内上映!《小美人鱼》来了 口碑解禁观众爱看小黑美人鱼
新概念英语语法词汇练习第一册_关于新概念英语语法词汇练习第一册简介 热点在线
调优圣经:零基础精通Jmeter分布式压测,10Wqps+超高并发 世界快资讯