最新要闻
- 焦点报道:许昌市东城区:普法宣传进校园 精心护苗筑平安
- 【全球时快讯】NVIDIA最新调查:80%的RTX 40系显卡用户会启用光追和DLSS
- 【天天播资讯】侧透玻璃机箱!微星海皇戟AS台式机上新:i7+RTX 4070
- 世界新消息丨同跑硬件杀手《赛博朋克2077》 RTX 4080与RTX 4090有多大差距?
- 世界今日讯!Win掌机不用指头戳屏幕了!Win12有望加入“掌机模式”
- 世界微动态丨下周一!国内油价预计涨0.44元/升 或创今年最大涨幅
- 尼尔森IQ:中国消费市场回暖 绿色变革赋能品牌可持续增长
- 世界热讯:简历上写QQ邮箱会掉分吗引热议 网友:邮箱也分三六九等?
- 全焦段光学覆盖!小米13 Ultra影像参数公布:1+3黄金组合
- 环球消息!4999元起 荣耀MagicBook 14 2023笔记本发布:5项世界第一
- 天天即时:优酷回应非会员遇3000多秒广告:bug已修复 是文案显示问题
- iPhone 15 Pro固态按键设计临时改了!只因难度太大
- 快看:本周最火AutoGPT!GitHub3.6万+标星:解决复杂任务全程无需人类插手
- 环球微速讯:性能升级 13代酷睿来了? 华为MateBook笔记本新品即将发布
- 曾力推每天睡4小时 张朝阳建议年轻人别睡懒觉不要熬夜
- 每日动态!李书福抢跑马斯克发小钢炮!冰箱彩电大沙发全标配:理想直呼内行
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
环球观热点:详解GaussDB(DWS)的query_band负载识别与应用
摘要:query_band是一个会话级别(session)的GUC参数,本身是字符串类型,支持任意形式字符组合。
本文分享自华为云社区《GaussDB(DWS)的query_band负载识别与应用》,作者:门前一棵葡萄树。
query_band概述
GaussDB(DWS)实现了基于query_band的负载识别和优先级调度,一方面提供了更为灵活的负载识别手段,不再局限于依据“用户-资源池”的映射关系将作业路由至对应资源池,提供了“键值对-资源池”的路由方式;另一方面实现了作业优先级调度,出现排队时按照优先级调度作业。
管理员用户可根据业务场景及作业类别配置query_band关联的资源池和优先级等实现更为灵活的负载管理。如果业务未配置query_band或用户未将query_band关联行为时,作业会默认使用用户关联的资源池和默认优先级(Medium)。
(资料图)
query_band是什么?
query_band是一个会话级别(session)的GUC参数,本身是字符串类型,支持任意形式字符组合。query_band用于负载识别时,为了便于区分、解决无意义字符串难以理解的问题,仅支持识别键值对形式的字符串。query_band键值对有以下限制:
- 仅支持识别键值对形式的字符串,即:“key=value”;
- 有效字符:数字0~9、大写字母A~Z、小写字母a~z以及部分符号(‘.’、‘-’、‘_’ 以及‘#’);
- 单个键值对最大长度1024;
- 支持多个键值对组合,键值对之间使用分号分隔;
- 示例:SET query_band = ‘JobName=abc;AppName=test;ApplicationName=jdbc’。
query_band负载识别
GaussDB(DWS)提供的资源管理功能,从资源池维度实现了资源隔离管控和查询调度,借此实现了不同业务间的资源隔离。资源池作为资源管控和查询调度的基本单位,查询运行前需要确定使用哪个资源池,在查询调度和查询运行过程中使用该资源池资源(计算资源/并发等)。
查询是由用户发起运行的,而且一般情况下用户都是按业务划分的,因此理所当然地就想到将用户和资源池关联起来,以此实现用户的查询在对应资源池运行的效果。GaussDB(DWS)提供了用户-资源池关联的能力,默认情况下用户关联默认资源池,可根据业务需求创建自定义资源,并将用户关联至自定义资源池,用户查询依据“用户-资源池”的关联关系将查询路由至对应资源池执行,以此实现对查询并发、内存及CPU资源的管控。从而实现对不同业务之间的资源限制和隔离,满足数据库混合负载需求,保证查询执行时资源调度的有序可控。
“用户-资源池”提供的用户和资源池的关联关系,对于用户和业务混合交叉(多个用户均对应多个业务)的场景就不适用了。此外一个资源池内不同用户的作业可能有不同优先级,此时就需要给不同用户或业务配置不同优先级,实现优先级调度。因此就需要提供一种能力,一方面不再局限于“用户-资源池”的关联方式,一方面还可以实现资源池内的优先级调度。这种情况下,query_band负载识别应运而生。
query_band负载识别提供了两方面能力:
- 一方面提供了更为灵活的负载识别手段,不再局限于依据“用户-资源池”的映射关系将作业路由至对应资源池,提供了“键值对-资源池”的路由方式;
- 另一方面实现了优先级调度,支持为不同用户或业务设置不同的优先级,实现资源池内的优先级调度。
query_band功能实现
工作原理
query_band负载识别以键值对为单位,用户使用的键值对可能有很多,但实际上关联负载行为的键值对只有很少的一部分,为方便后续理解,这里按是否关联负载行为,将键值对分为有效键值对和无效键值对:
有效键值对:有关联负载行为;
无效键值对:未关联任何负载行为。
会话内设置的query_band可能包含多个键值对,不同场景下可能要使用不同的键值对进行负载识别,以实现负载控制(分时/分天)。当query_band内包含唯一有效键值对时,使用该键值对进行负载识别;当query_band内包含多个有效键值对时,按以下规则选择有效键值对进行负载识别:
- 键值对匹配顺序不同时,优先选择匹配序号最小的键值对进行负载识别;
- 所有键值对匹配顺序相同时,按照先后顺序选择靠前的键值对进行负载识别
示例:假设set query_band="b=1;a=3;c=1"中所有键值对匹配顺序都一样,则选择b=1进行负载识别;假设set query_band=‘b=1;a=3;c=1’ ,其中b=1顺序为-1,a=3顺序为4,c=1顺序为1,则选择c=1进行负载识别。
识别能力
管理员用户根据业务场景和负载变化,调整业务(不同业务对应不同query_band键值对)使用的资源池和调度优先级。业务运行过程中负载识别与query_band工作机制如下:
- 会话内设置query_band,示例:SET query_band="JobName=abc;UserName=elk";
- 负载管理模块解析query_band,判断其中是否包含有效键值对;
- query_band内不包含有效键值对,则使用"用户-资源池"的方式将作业路由至对应资源池运行,同时设置作业优先级为Medium;
- query_band内包含有效键值对,则使用“键值对-资源池”的方式将作业路由至对应资源池运行,同时设置作业优先级为键值对关联优先级;
- 作业在对应资源池,按照设置的优先级进行排队,等待查询调度。
优先级调度
query_band支持高中低(High/Medium/Low)三个优先级,同时提供Rush作为特殊优先级(绿色通道),默认优先级为Medium。实践过程中,建议大部分作业使用Medium优先级,优先级较低作业使用Low优先级,特权作业使用High优先级,High作业不建议过多。Rush优先级作为特殊场景下应急使用,平时不建议使用。
调度时优先调度高优作业,高优作业全部调度完才调度低优作业,GaussDB(DWS)包含多个优先级队列。除动态负载管理场景下,CN全局并发控制队列不支持优先级调度外,以下队列均支持优先级调度(按优先级顺序调度):
- 静态负载管理场景下,CN全局并发控制队列;
- 动态负载管理场景下,CCN全局内存管控队列;
- 资源池并发控制和内存管控队列。(动态静态均支持)
作业运行过程中可通过pgxc_session_wlmstat/pg_session_wlmstat视图查询作业优先级,视图中优先级显示为INT类型,数字和优先级对应关系如下:
query_band对外接口
gs_wlm_set_queryband_action
提供FUNCTION:gs_wlm_set_queryband_action(query_band cstring, action cstring, order int4)用于设置query_band负载行为,函数返回值类型为bool,表示函数调用是否成功,包含三个入参,含义如下:
- query_band:query_band键值对
- action:负载行为
- order:匹配顺序(序号),缺省参数,默认值-1
应用示例:设置query_band键值对“UserName=elk”关联资源池p1、优先级Rush、匹配顺序为1。
SELECT * FROM gs_wlm_set_queryband_action("UserName=elk","respool=p1;priority=rush",1);
gs_wlm_set_queryband_order
提供FUNCTION:gs_wlm_set_queryband_order(query_band cstring, order int4)用于修改query_band匹配顺序,函数返回值类型为bool,表示函数调用是否成功,包含两个入参,含义如下:
- query_band:query_band键值对
- order:匹配顺序(序号),缺省参数,默认值-1
除-1外,不允许两个query_band键值对使用相同匹配顺序,设置query_band键值对匹配顺序时,如果存在query_band持有该匹配顺序,则其顺序自动+1,重复上述步骤直至无相同匹配顺序的query_band键值对存在。匹配顺序中-1最大,代表匹配优先级最低,最小值为0,代表匹配优先级最高。
应用示例:假设query_band键值对“UserName=elk”的匹配顺序为1,“UserName=bin”的匹配顺序为2,“UserName=yagao”的匹配顺序为3,此时设置query_band键值对“UserName=on”匹配顺序为1。
SELECT * FROM gs_wlm_set_queryband_order("UserName=on",1);
设置完成后,query_band键值对匹配顺序如下:
系统表pg_workload_action
query_band支持多种负载行为,使用系统表pg_workload_action存储不同query_band键值对对应的负载行为。为了后续扩展性(新增负载行为不需要新增字段),系统表设计采用一行对应一个负载行为的方式存储,当一个query_band键值对关联多个负载行为时,每个负载行为存储一行数据。系统表包含四个字段:
- qband:键值对
- class:负载行为类别
- object:负载行为名称
- action:关联的负载行为
query_band目前支持以下负载行为,其中query_band键值对的匹配顺序(序号)也作为一种负载行为存储在系统表中。
备注:默认值不需要存储在系统表中;资源池保存的是OID。
示例:假设已经设置query_band键值对“UserName=elk”关联资源池p1、优先级Rush、匹配顺序为1;“UserName=on”关联资源池p1、优先级Medium、匹配顺序为-1。查询pg_workload_action结果如下:
postgres=# select * from pg_workload_action order by 1,2; qband | classname | objname | action--------------+-----------+----------+-------- UserName=elk | order | respool | 1 UserName=elk | workload | respool | 16722 UserName=elk | workload | priority | rush UserName=on | workload | respool | 16722(4 rows)
pg_queryband_action视图
pg_workload_action系统表用于存储query_band键值对负载行为,查询query_band行为可以直接查询该表,但是随着每一个负载行为显示一行的方式易用性较差,因此我们提供了pg_queryband_action用于查询所有query_band键值对的负载行为,每一行对应一个键值对的所有负载行为。
示例:假设已经设置query_band键值对“UserName=elk”关联资源池p1、优先级Rush、匹配顺序为1;“UserName=on”关联资源池p1、优先级Medium、匹配顺序为-1。查询pg_queryband_action结果如下:
postgres=# select * from pg_queryband_action; qband | respool_id | respool | priority | qborder--------------+------------+---------+----------+--------- UserName=on | 16722 | p1 | Medium | -1 UserName=elk | 16722 | p1 | rush | 1(2 rows)
query_band应用
基础应用
创建资源池respool_1,并创建用户user_1关联资源池respool_1、respool_2。不设置query_band负载行为场景下,使用user_1用户运行作业,此时user_1作业全部路由至respool_1运行,优先级为Medium。
设置query_band键值对"JobName=elk"的负载行为为关联资源池respool_2,优先级为Medium;设置query_band键值对"JobName=on"的负载行为为优先级High。user_1用户分别设置不同的query_band运行作业,不同作业运行方式、关联资源池及作业优先级如下表所示:
扩展应用(用户优先级调度)
创建资源池respool_1,并创建用户user_1、user_2、user_3关联资源池respool_1。不设置query_band负载行为场景下,使用user_1、user_2和user_3用户运行作业,此时user_1、user_2和user_3作业全部路由至respool_1运行,优先级均为Medium。
设置query_band键值对"UserName=elk"的优先级为High;设置query_band键值对"UserName=on"的优先级为Low。
备注:“UserName=elk”、“UserName=on”只用于用户标识,没有特殊含义,用户可按需配置。
按以下方式设置用户默认query_band:
ALTER USER user_2 SET query_band="UserName=elk";ALTER USER user_3 SET query_band="UserName=on";
会话内不单独设置query_band,使用user_1、user_2和user_3用户运行作业,此时user_1作业优先级为Medium(默认优先级),user_2作业优先级为High(对应键值对“UserName=elk”),user_3作业优先级为Low(对应键值对“UserName=on”)。
此外,用户还可设置包含多个键值对的query_band,在不同场景下(或不同时间段),按照不同键值对进行负载识别,实现更为灵活的负载控制,这里就不再赘述了。
点击关注,第一时间了解华为云新鲜技术~
关键词:
-
环球观热点:详解GaussDB(DWS)的query_band负载识别与应用
摘要:query_band是一个会话级别(session)的GUC参数,本身是字符串类型,支持任意形式字符组合。本文...
来源: -
快看:零基础快速入门WebRTC:基本概念、关键技术、与WebSocket的区别等
本文主要分享了WebRTC的基本概念、关键技术术语(包括NAT、STUN、TURN、ICE、SDP和信令),着重讲解了We...
来源: -
【世界时快讯】Java集成工作流审批机制,多个项目实际运用优化版本(干货)
前言activiti工作流引擎项目,企业erp、oa、hr、crm等企事业办公系统轻松落地,一套完整并且实际运用在...
来源: 全球即时:全栈混合云综合架构方案研究和落地
环球观热点:详解GaussDB(DWS)的query_band负载识别与应用
快看:零基础快速入门WebRTC:基本概念、关键技术、与WebSocket的区别等
【世界时快讯】Java集成工作流审批机制,多个项目实际运用优化版本(干货)
世界快播:Natasha入门(一)
环球观热点:恒生指数13日收涨0.13% 生物医药行业领涨
焦点报道:许昌市东城区:普法宣传进校园 精心护苗筑平安
【全球时快讯】NVIDIA最新调查:80%的RTX 40系显卡用户会启用光追和DLSS
【天天播资讯】侧透玻璃机箱!微星海皇戟AS台式机上新:i7+RTX 4070
世界新消息丨同跑硬件杀手《赛博朋克2077》 RTX 4080与RTX 4090有多大差距?
世界今日讯!Win掌机不用指头戳屏幕了!Win12有望加入“掌机模式”
世界微动态丨下周一!国内油价预计涨0.44元/升 或创今年最大涨幅
尼尔森IQ:中国消费市场回暖 绿色变革赋能品牌可持续增长
天天速读:MegEngine 使用小技巧:使用 Optimizer 优化参数
每日动态!图片压缩&视频截取
全球观速讯丨Mac | iOS | Windows:安装Stable diffusion教程
世界短讯!科创板收盘播报:科创50指数低开低走跌2.59% 软件服务及半导体股跌幅居前
世界热讯:简历上写QQ邮箱会掉分吗引热议 网友:邮箱也分三六九等?
全焦段光学覆盖!小米13 Ultra影像参数公布:1+3黄金组合
环球消息!4999元起 荣耀MagicBook 14 2023笔记本发布:5项世界第一
天天即时:优酷回应非会员遇3000多秒广告:bug已修复 是文案显示问题
iPhone 15 Pro固态按键设计临时改了!只因难度太大
天天最资讯丨动态代理与Spring AOP
在LINQPad中使用FreeSql查询数据库
minio分片上传
12函数进阶
环球快看点丨[Docker]Namespace与Cgroups
快看:本周最火AutoGPT!GitHub3.6万+标星:解决复杂任务全程无需人类插手
环球微速讯:性能升级 13代酷睿来了? 华为MateBook笔记本新品即将发布
曾力推每天睡4小时 张朝阳建议年轻人别睡懒觉不要熬夜
每日动态!李书福抢跑马斯克发小钢炮!冰箱彩电大沙发全标配:理想直呼内行
【环球热闻】售价高达15000元!宾得专为黑白摄影推出K-3 Mark III Monochrome
金色的草地课文朗读音频_金色的草地课文
焦点精选!论结构化、系统性的学习
【天天热闻】RocketMQ是是如何管理消费进度的?又是如何保证消息成功消费的?
【天天聚看点】C# 根据前台传入实体名称,动态查询数据
每日关注!电商流量分析怎么做?试试这款数据工具 DataLeap!
Intel突然杀死服务器整机业务!新CEO连砍十余刀挽救亏损
马保国直播带货现演“闪电五连鞭”:销量惨淡 网友只看不买
手把手教你如何免费Midjourney Adobe FireFly AI绘图—Window本地快速部署stable diffusion AI绘图及使用指南(小白
克里克森_克里克拉克
每日速递:日本部分地区出现大量黄沙:能见度不足10公里
环球热点!高颜值!关晓彤晒华为nova 11:本月发
每日资讯:开启影像光学新时代!小米13 Ultra搭载全焦段5000万像素徕卡四摄
真反向虚标!实测比亚迪秦PLUS EV冠军版:标610开出646.5
5.98万起真不贵!五菱缤果上市两周狂卖10000台:再成爆款
【3D建模工具】上海道宁与McNeel为您提供强大的专业3D造型软件
环球快资讯丨学系统集成项目管理工程师(中项)系列04c_项目管理一般知识(下)
【大兴调查研究】临夏税务:“把脉问诊”助企纾困
今日热闻!新款特斯拉Model 3实车首曝:大灯更精神、颜值再提升
焦点短讯!张艺谋:《满江红》票房让我很意外 20亿就是伟大胜利
观热点:美曾通报生物实验室感染病毒的小白鼠逃了:去年还发生实验猴逃窜
世界快看:5.58万起 五菱荣光新卡上市:2.0L动力、3.3米货厢
当前看点!微信推送8.0.35测试版:和Android 5.0说再见
华硕A52J笔记本最大存储空间是多少?华硕a52j笔记本参数
金立GN105手机怎么换屏幕?金立gn105手机参数配置
ATI HD4500是集成显卡吗?ATI HD4500参数配置
华硕y581c是什么系列?华硕y581c笔记本电脑配置
苹果iPhone7有几种颜色?苹果iphone7怎么截长图?
环球速递!《梦西游》4月14日合服维护公告
环球快消息!C#--TextBox的四种禁止编辑方法
热点评!4月22日,云数据库技术沙龙【杭州站】来了
用java做一个并发10W的网站,需要用到的技术有这些!
释放1英寸全部实力!小米13 Ultra支持可变光圈:重金打造
埃安Hyper GT摊牌了:比特斯拉贵 但你会选我
广东惠东发现“世界最神秘的鸟”:中国特产、比大熊猫还稀少
世界通讯!《名侦探柯南》优衣库联名T恤引争议 柯哀党PK新兰党
观焦点:小米平板6系列正式官宣:5000万摄像头 超强生产力工具
环球微速讯:093期杨光福彩3D预测奖号:定位直选参考
天天时讯:百度文心大模型API测试
世界通讯!浅析DNS Rebinding
Linux运维进阶之路
环球观点:美国通胀降温 油价随宽松预期下上行
天天日报丨男子要求抹零被拒与店员起争执 就为10元打女服务员:网友吐槽没必要
世界快资讯:打车去拉萨的超远订单显著增加 车费超1.3万 滴滴:希望大家理性下单
每日动态!曾是第一大股东 软银抛售阿里巴巴股份:快清空了
世界热资讯!剧版《哈利·波特》官宣 先导预告发布:JK罗琳监制 忠于原著的十年大剧
每日速递:和iPhone一样四边等宽!华为nova 11正面照泄露
天天报道:1、内网渗透基础知识
4月13日生意社二氯甲烷基准价为2607.50元/吨
【国际大宗商品早报】国际油价显著上涨超2% 基本金属全线走高
喊话北京打车太便宜应涨价!乘联会秘书长:燃油车用户纳税但未享受权益
世界速看:中老铁路首趟国际旅客列车发车:昆明当日通达万象 二等座470元
白玉兰奖《狂飙》张颂文呼声最高:国产电视剧质量、口碑爆发
有7/14nm光刻机国产芯片就能赶上来?全球半导体设备、材料核心已被全垄断
【读财报】房企3月融资:境内信用债发行规模环比翻倍 美元债发行回落
焦点滚动:银河证券:继续看好银行板块投资机会
每日动态!四大证券报精华摘要:4月13日
微头条丨高校围捕1.26米40斤“鳄雀鳝”:人为放生 长嘴如鳄鱼
兰博基尼推出插电混动超级跑车 60万美元迅速卖光
比亚迪汉、唐车主狂喜!今年内可OTA升级云辇系统 车型一览
焦点滚动:小米13 Ultra跑分出炉:第二代骁龙8 顶配16GB内存
天天时讯:俄罗斯国家空间站计划2027年开建:最新构型图正式公布
每日播报!信贷投放靠前发力为经济发展注入活力
比亚迪又放大招 直接对标奔驰
今日最新!403秒!我国人造太阳创造新的世界纪录:可控核聚变又近一步
世界滚动:校园内最美的舞蹈
四则运算练习&竞赛系统(结对编程)
世界滚动:[GIT]GIT之删除远程仓库中的目录或文件
神谷英树发文怒喷Switch:想把这垃圾砸碎!