最新要闻
- 一天斩获3个冠军!全国花游冠军赛北京队“开门红”-快看点
- DXO拍照全球第一!华为P60 Pro新增12GB+256GB版本 6488元
- 单价6.5亿 想坐吗?国产大飞机C919商业首航来了:5月28日、上海至北京_微头条
- 神操作 小汽车撞倒闯红灯三轮车后居然直接走了 无责变有责
- 糟糕!下一轮国内油价调整“由跌转涨”:当前上调75元/吨 今日快讯
- 牌面!福特CEO称特斯拉不是最大竞争对手 比亚迪才是 环球新消息
- 焦点要闻:美联储加息预期升温 美元兑日元汇率再度站上140
- 计算机时代变了 NVIDIA黄仁勋:CPU用得越来越少 GPU才是关键|世界实时
- 【世界快播报】自研火箭发射8颗卫星 韩国表态已成航天强国:仅中美等7国做到
- 当前快报:跟比亚迪海豚争场子 五菱云朵8月上市:10万级大五座纯电新宠
- 焦点观察:优派推出新款27寸4K Mini LED显示器:支持96W反向充 2999元
- 山东一高速现天价救援费:20公里被收11000元 结局大快人心 观天下
- 每日观点:干瘦肉炒什么配菜好吃?
- 一季度垃圾短信投诉5万件 官方揭秘:主要是这10家公司发的
- 18888元求票 五月天黄牛票涨回去了?29名黄牛被查处|当前简讯
- 你吃过没?商家回应淄博烧烤降温:再不降温我们也受不了|新消息
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
Python工具箱系列(三十三)
Timescaledb
在物联网时代,出现了大量以时间为中心海量产生的传感器数据,称为时序数据。这类数据的特点是:
数据记录总有一个时间戳。
(资料图片)
数据几乎总是追加,不更新也不删除。
大量使用近期的数据。很少更新或者回填时间间隔的缺失数据。
与时间间隔频率关系不大。但累积的数据量大,可能会有峰值。
对这类数据有多种聚合查询的需求,并且越快越好。例如,截止到目前为止,最大值/最小值/平均值是多少,数据流速是多少等。
为此,IT界兴起了时序数据库。TimeScaleDB是其中的佼佼者,截止到2022年7月,它的排名在第5名,值得使用。由于TimeScaleDB是postgresql的一个插件,因此非常便于安装与使用。同时,它也是一个开源的时间序列数据库,为快速获取和复杂查询进行了优化。此外,它也是多模型设计,在体现与时序数据相关的特性外,它执行的是“完整的SQL”,程序员很容易使用与管理它。
它的安装不复杂。使用以下命令在ubuntu bionic下安装单机版本。
apt install -y gnupg postgresql-common apt-transport-https lsb-release wget/usr/share/postgresql-common/pgdg/apt.postgresql.org.shecho "deb https://packagecloud.io/timescale/timescaledb/ubuntu/ $(lsb_release -c -s) main" > /etc/apt/sources.list.d/timescaledb.listwget --quiet -O - https://packagecloud.io/timescale/timescaledb/gpgkey | apt-key add -apt updateapt install -y timescaledb-2-postgresql-14# 做一个调整timescaledb-tune --quiet --yes# 重新启动数据库服务systemctl restart postgresql# 以postgres用户启动命令行su postgres -c psql# 在psql命令行环境中。输入以下命令,从而关联到timescaledb这个扩展上。CREATE database sensordb;\c sensordbCREATE EXTENSION IF NOT EXISTS timescaledb;\q# 再次连接su postgres -c "psql -d sensordb"# 显示扩展列表(extensions)\dx
一、创建时序相关得表
在sensordb下创建测试用的表,这个创建的过程有些特殊。相关命令如下:
# 传感器表,传统的表CREATE TABLE sensors( id SERIAL PRIMARY KEY, type VARCHAR(50), location VARCHAR(50));# 传感器数据库,这个将转换成为超表CREATE TABLE sensor_data ( time TIMESTAMP NOT NULL, sensor_id INTEGER, pm25 DOUBLE PRECISION, temperature DOUBLE PRECISION, FOREIGN KEY (sensor_id) REFERENCES sensors (id));# CREATE EXTENSION IF NOT EXISTS timescaledb;# 转换为超表SELECT create_hypertable("sensor_data", "time");# 生成4个传感器INSERT INTO sensors (type, location) VALUES("a","地板"),("a", "天花板"),("b","地板"),("b", "天花板");# 测试一下。select * from sensors;
接下来,使用python连接时序数据库,并且模拟相关的数据插入到表中。
二、使用Python模拟数据
import psycopg2import randomimport datetime# 事先创建后数据库demodbdemodb = psycopg2.connect(database="sensordb", user="postgres", password="88488848", host="172.17.2.151", port="5432")democur = demodb.cursor()currenttime = datetime.datetime.now()# 插入模拟出来的数据。for _ in range(100000): currenttime = currenttime+datetime.timedelta(seconds=1) for id in range(1,5,1): pm25 = random.uniform(0, 300) temp = random.uniform(0, 40) insertsql = f"""insert into sensor_data(sensor_id,pm25,temperature,time) values({id},{pm25},{temp},"{currenttime}")""" democur.execute(insertsql) demodb.commit()democur.close()demodb.close()
这里插入10万秒的数据,相当于100000/86400=1.15(天)的数据。在插入数据的同时,就可以同时在数据库中进行按30分钟的分桶查询,这是时序数据库的一个特殊功能。
# su postgres -c "psql -d sensordb"SELECT time_bucket("30 minutes", time) AS period, AVG(temperature) AS avg_temp, last(temperature, time) AS last_temp, AVG(pm25) AS avg_pm25FROM sensor_dataGROUP BY period;SELECT time_bucket("60 minutes", time) AS period, AVG(temperature) AS avg_temp, last(temperature, time) AS last_temp, AVG(pm25) AS avg_pm25FROM sensor_dataGROUP BY period;
此时,按30分钟时间窗口聚会的数据查询效果如下图所示:
可以看出,TimeScaleDB已经将数据按30分钟来聚合分析。当然,改成任意时间也是可以的,例如,可以改成5秒分析一次也可以,生成结果的时间也非常快。
关键词:
Python工具箱系列(三十三)
海内外直播源码加密技术保障您的隐私安全 焦点快播
Windows下使用docker部署.Net Core 全球今热点
一天斩获3个冠军!全国花游冠军赛北京队“开门红”-快看点
DXO拍照全球第一!华为P60 Pro新增12GB+256GB版本 6488元
单价6.5亿 想坐吗?国产大飞机C919商业首航来了:5月28日、上海至北京_微头条
神操作 小汽车撞倒闯红灯三轮车后居然直接走了 无责变有责
糟糕!下一轮国内油价调整“由跌转涨”:当前上调75元/吨 今日快讯
牌面!福特CEO称特斯拉不是最大竞争对手 比亚迪才是 环球新消息
环球视讯!UE/虚幻 蓝图实现通过http获取数据(以高德地图API为例)&Json格式数据的读取
标准化考场时间同步系统(网络时钟系统)规划建设应用 每日快播
Java设计模式-策略模式|环球快资讯
焦点要闻:美联储加息预期升温 美元兑日元汇率再度站上140
计算机时代变了 NVIDIA黄仁勋:CPU用得越来越少 GPU才是关键|世界实时
【世界快播报】自研火箭发射8颗卫星 韩国表态已成航天强国:仅中美等7国做到
当前快报:跟比亚迪海豚争场子 五菱云朵8月上市:10万级大五座纯电新宠
焦点观察:优派推出新款27寸4K Mini LED显示器:支持96W反向充 2999元
山东一高速现天价救援费:20公里被收11000元 结局大快人心 观天下
世界热点!Fastjson 很快,但不适合我....
每日观点:干瘦肉炒什么配菜好吃?
一季度垃圾短信投诉5万件 官方揭秘:主要是这10家公司发的
18888元求票 五月天黄牛票涨回去了?29名黄牛被查处|当前简讯
你吃过没?商家回应淄博烧烤降温:再不降温我们也受不了|新消息
世界消息!成都一轿车冲进店铺撞坏16个骨灰盒 现场损坏严重:网友称是大众
遥遥领先!华为分布式存储斩获IO500榜全球第一:Intel看不见尾灯
裘皮是什么皮_裘皮的介绍 天天资讯
触达债务上限日期或在两周后 美债收益率延续上行_环球微头条
国际金融市场早知道:5月26日|焦点热讯
刘强东14年为宿迁投入超200亿!宿迁第一高楼启用 未来3年在当地新招上万人
世界热点评!《英雄联盟手游》今日更新:无限火力升级归来 英雄可达25级
刷新世界纪录!中国吊起142米、3068吨“巨无霸”大塔
选择商品的发布类目方式有_选择一款正确发布的商品
今日要闻!学系统集成项目管理工程师(中项)系列27_10大管理47过程、输入输出工具和技术(2版教材)
今天国内上映!《小美人鱼》来了 口碑解禁观众爱看小黑美人鱼
新概念英语语法词汇练习第一册_关于新概念英语语法词汇练习第一册简介 热点在线
调优圣经:零基础精通Jmeter分布式压测,10Wqps+超高并发 世界快资讯
直接用中文写提示词的Stable Diffusion扩展:sd-prompt-translator发布
上海高架斗气车主或涉嫌什么罪名?专家解读多种可能
天天热门:史上最大涨幅!康宁:所有玻璃基板提价20%
天天头条:让友商恨得牙痒痒的比亚迪宋Pro DM-i冠军版:到底怎么样?
视焦点讯!马斯克吹了三年的锂电之光4680:竟然还不如普通电池!
袋鼠贵为澳大利亚国宝 却每年被合法猎杀几百万只:为啥? 全球即时看
当前快播:宠物经济板块5月25日跌0.66%,狮头股份领跌,主力资金净流出7407.47万元
鼻中隔糜烂用什么药最好_鼻中隔糜烂
当前消息!新仙剑奇侠传之挥剑问情林月如怎么获得 林月如获取方法介绍
药智网数据库 高校(药智网数据库)
沪指险守3200点 外资连续3天撤离!热门题材持续活跃
头条焦点:适合女孩子玩的单机小游戏(有哪些适合女生玩的单机小游戏?)
广州47中好不好_广州市47中高中部的重点班有哪些
记录一次服务器磁盘爆满问题
君爵商务车2023款价格及图片_君爵
环球今日讯!不愧是大哥!RTX 4090游戏本实测性能拉满
环球精选!Win11年度重磅更新Moment 3发布下载:所有Win32程序皆可沙盒运行
全球热讯:iOS 17更新内容少!原来苹果把心思放在这了
2499元起!网友对小米Civi 3定价感到意外
5月25日晚间沪深上市公司重大事项公告最新快递-环球热文
6)表连接
环球快报:铂科新材(300811)5月25日主力资金净买入56.30万元
阿里巴巴否认大裁员:今年需招15000人 每天数千岗位在纳新-天天快看
全球动态:油电同价!比亚迪宋Pro DM-i冠军版入门就71KM 13.58万起
世界资讯:14.3GB/s!PCIe 5.0 SSD第一次满血了 但是必须水冷?
环球观点:有人出18888元求票!五月天黄牛票涨回去了?
安徽男子遇AI诈骗:9秒被骗132万 世界最资讯
广东一熊孩子拿着剪刀减掉女顾客头发 家长赔偿其11500元
深圳市举行普通小汽车增量指标竞价活动 成交价创5年新低
韩国自主研发运载火箭发射升空 计划将其送入550千米高的太阳同步轨道
文心一言 VS 讯飞星火 VS chatgpt (22)-- 算法导论4.2 2题_当前简讯
11-计数器
最新消息:位运算在排序算法中的运用
浙商入川觅商机:签约项目34个 投资金额达138亿元|世界关注
惠誉发出评级警告 美债僵局如何收场|全球热议
【全球报资讯】惠誉发出评级警告 美债僵局如何收场
可追溯至40年前!日立本田合资零件厂承认长期造假
环球新资讯:必应取代百度成中国第一?百度:数据离谱 中文搜索有自信第一
每日报道:租客仅剩13元花11元买瓜探望房东:情义无价!满满正能量
爱奇艺辟谣子公司将裁员50%:不实 法务部门已介入
圣农发展:4月份销量降低是源于公司预判后期市场持续向好,增加了部分的战略库存 环球时快讯
宁波美诺华天康药业有限公司获得盐酸莫西沙星片药品注册批件
关于linux系统中umask值的说明-以及计算转换成默认权限符号的方法
焦点热议:记录--超长溢出头部省略打点,坑这么大,技巧这么多?
环球即时看!跟着hsp学springmvc--数字格式化介绍
5)基本查询语句|焦点快看
要闻速递:长城举报比亚迪排放不达标 检测机构中汽研:集团后续统一回复
《蜘蛛侠:纵横宇宙》大闹天宫海报公布:6月2日上映
美国交通部长:对特斯拉L2级智能驾驶感到担忧
5G网速起飞!小米13 Ultra双卡上网来了:下载速度猛增30% 天天最新
宝骏悦也上市 五菱大船转身:人民想要什么就造什么
世界看点:[IDEA]社区版IDEA的数据库连接插件(DB Navigator)
项目终于用上了 Spring 状态机,非常优雅!
全球热推荐:编译静态库遇到的 LNK2019 报错
通讯!Swift中常见的String用法,Array高阶使用,Set集合操作
天天信息:福建省第二届短视频大赛正式启动
5月31日发布会!法拉第未来5月底启动FF 91第一阶段交付
男子弄丢价值百万唐伯虎真迹:好心市民捡到后交还 快资讯
618来了!AMD Zen4价格跳水:锐龙9 7950X上市半年直接6折|天天快资讯
世界即时看!“熊孩子”惹祸:女童剪掉顾客一撮头发 家长赔1万多
到底谁会买?《魔戒:咕噜》口碑扑街:媒体均分低至38分
【环球聚看点】Oracle迁移到MySQL时数据类型转换问题
SpringBoot结合easyexcel处理Excel文件-全球焦点
【打怪升级】【容器】关于Map