最新要闻
- 国内首家!统信操作系统成功获得商用密码产品认证证书
- 环球热点!“流浪地球”成功的概率有多高?你肯定想不到
- 当前视点!脑洞大开的机械键盘 内部竟搭CPU和GPU
- 天天百事通!阿里云推全国首个跨省域智慧大脑:汇聚江浙沪242项数据资源
- 全球资讯:不得不防!奥密克戎新变异毒株“双头犬”现身美国:已被世卫监测
- 最新快讯!40万级乱杀!全新国产奔驰GLC配置曝光:四款车型、两种外观
- 全球焦点!Gamerant赞《黑神话·悟空》:虚幻5打造《西游记》传说值得期待
- 天天要闻:这外观似曾相识!荣耀Magic 5 Lite曝光:后置圆环三摄
- 全球快看:《狂飙》爆火出圈!《孙子兵法》登顶淘宝热搜 发货要等25天
- 男子2月没摘隐形眼镜:镜片长到眼球上
- 每日信息:对标三星索尼!SK海力士重组CMOS图像传感器团队
- 天天微头条丨网友吐槽美国医院3小时拔不出一根鱼刺 急诊那是真不急
- 全球微资讯!耶路撒冷老城千年护城河道惊现神秘手印 专家:或为工人恶作剧
- 最新快讯!立减40元:露得清氨基酸洗面奶19.9元到手 男女通用
- 世界看热讯:5G四足机器人“入职”中国电信核心机房:支持自主巡航 360度旋转夜视
- 猛禽之王!摄影爱好者抓拍到金雕展翅抓羊场面:超震撼
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
焦点资讯:Kubernetes监控手册06-监控APIServer
写在前面
如果是用的公有云托管的 Kubernetes 集群,控制面的组件都交由云厂商托管的,那作为客户的我们就省事了,基本不用操心 APIServer 的运维。个人也推荐使用云厂商这个服务,毕竟 Kubernetes 还是有点复杂的,升级也不好搞,我们自己来维护整个集群,性价比有点低。当然,如果因为各种原因最后我们还是要维护控制面这些组件,那就要好好看看本系列接下来的几篇博客了。
黑盒测试
APIServer 在 Kubernetes 架构中非常核心,是所有 API 的入口,APIServer 也暴露了 metrics 数据,我们尝试获取一下:
(相关资料图)
[root@tt-fc-dev01.nj etcd]# ss -tlpn|grep apiserverLISTEN 0 128 *:6443 *:* users:(("kube-apiserver",pid=164445,fd=7))[root@tt-fc-dev01.nj etcd]# curl -s http://localhost:6443/metricsClient sent an HTTP request to an HTTPS server.[root@tt-fc-dev01.nj etcd]# curl -s -k https://localhost:6443/metrics{ "kind": "Status", "apiVersion": "v1", "metadata": {}, "status": "Failure", "message": "forbidden: User \"system:anonymous\" cannot get path \"/metrics\"", "reason": "Forbidden", "details": {}, "code": 403}
解释一下上面的命令和结果。首先我通过 ss 命令查看 apiserver 模块监听在哪些端口,发现这个进程在 6443 端口有监听。然后,使用 curl 命令请求 6443 的 metrics 接口,结果又说这是一个 HTTPS Server,不能用 HTTP 协议请求。好,那我用 HTTPS 协议请求,自签证书,加了 -k 参数,返回 Forbidden,说没权限访问/metrics
接口。OK,那看来是需要 Token 鉴权,我们创建一下相关的 ServiceAccount。
准备认证信息
下面的内容可以保存为 auth-server.yaml。
---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRolemetadata: name: categrafrules: - apiGroups: [""] resources: - nodes - nodes/metrics - nodes/stats - nodes/proxy - services - endpoints - pods verbs: ["get", "list", "watch"] - apiGroups: - extensions - networking.k8s.io resources: - ingresses verbs: ["get", "list", "watch"] - nonResourceURLs: ["/metrics", "/metrics/cadvisor"] verbs: ["get"]---apiVersion: v1kind: ServiceAccountmetadata: name: categraf namespace: flashcat---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata: name: categrafroleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: categrafsubjects:- kind: ServiceAccount name: categraf namespace: flashcat
在上一节《Kubernetes监控手册05-监控Kubelet》中,我们为 daemonset 创建过认证信息,那个认证信息主要是用于调用 kubelet 的接口。而这次我们要调用的是 apiserver 的接口,所以增加了一些权限点,当然,上例 yaml 中给出的权限点有点多,没关系,反正都是只读的,后面再需要其他权限的时候,省的再创建新的 ServiceAccount 了。与上一讲相比,这次 ServiceAccount 名字改成了 categraf,与上一讲用到的 ServiceAccount 区分开。
通过下面的命令创建相关内容,然后查看一下是否创建成功:
[root@tt-fc-dev01.nj yamls]# kubectl apply -f auth-server.yaml -n flashcatclusterrole.rbac.authorization.k8s.io/categraf unchangedserviceaccount/categraf unchangedclusterrolebinding.rbac.authorization.k8s.io/categraf unchanged[root@tt-fc-dev01.nj yamls]# kubectl get sa categraf -n flashcatNAME SECRETS AGEcategraf 1 7h13m[root@tt-fc-dev01.nj yamls]# kubectl get sa categraf -n flashcat -o yamlapiVersion: v1kind: ServiceAccountmetadata: annotations: kubectl.kubernetes.io/last-applied-configuration: | {"apiVersion":"v1","kind":"ServiceAccount","metadata":{"annotations":{},"name":"categraf","namespace":"flashcat"}} creationTimestamp: "2022-11-28T05:00:17Z" name: categraf namespace: flashcat resourceVersion: "127151612" uid: 8b473b31-ce09-4abe-ae55-ea799160a9d5secrets:- name: categraf-token-6whbs[root@tt-fc-dev01.nj yamls]# kubectl get secret categraf-token-6whbs -n flashcatNAME TYPE DATA AGEcategraf-token-6whbs kubernetes.io/service-account-token 3 7h15m
上例中,因为我之前创建过了,所以显示的是 unchanged,获取 sa 的时候,可以看到 AGE 已经七个多小时了。通过-o yaml
可以看到 sa 对应的 secret 的名字,最下面那一行,可以看到 secret 名字是 categraf-token-6whbs。然后我们用这个 secret 中的 token 来调用一下 APIServer 试试:
[root@tt-fc-dev01.nj yamls]# token=`kubectl get secret categraf-token-6whbs -n flashcat -o jsonpath={.data.token} | base64 -d`[root@tt-fc-dev01.nj yamls]# curl -s -k -H "Authorization: Bearer $token" https://localhost:6443/metrics > metrics[root@tt-fc-dev01.nj yamls]# head -n 6 metrics# HELP aggregator_openapi_v2_regeneration_count [ALPHA] Counter of OpenAPI v2 spec regeneration count broken down by causing APIService name and reason.# TYPE aggregator_openapi_v2_regeneration_count counteraggregator_openapi_v2_regeneration_count{apiservice="*",reason="startup"} 0aggregator_openapi_v2_regeneration_count{apiservice="k8s_internal_local_delegation_chain_0000000002",reason="update"} 0aggregator_openapi_v2_regeneration_count{apiservice="v1beta1.metrics.k8s.io",reason="add"} 0aggregator_openapi_v2_regeneration_count{apiservice="v1beta1.metrics.k8s.io",reason="update"} 0
OK,这个新的 Token 是可以获取到数据的了,权限认证通过。
采集原理
既然 Token 已经有了,采集器抓取 APIServer 的数据的时候,只要在 Header 里传入这个 Token 理论上就可以拿到数据了。如果 APIServer 是二进制方式部署,咱们就直接通过 Categraf 的 Prometheus 插件来抓取就可以了。如果 APIServer 是部署在 Kubernetes 的容器里,咱们最好是使用服务发现机制来做。
支持 Kubernetes 服务发现的 agent 有不少,但是要说最原汁原味的还是 Prometheus 自身,Prometheus 新版本(v2.32.0)支持了 agent mode 模式,即把 Prometheus 进程当做采集器 agent,采集了数据之后通过 remote write 方式传给中心(这里使用早就准备好的 Nightingale 作为数据接收服务端)。那这里我就使用 Prometheus 的 agent mode 方式来采集 APIServer。
部署 agent mode prometheus
首先准备一下 Prometheus agent 需要的配置文件,我们做成一个 ConfigMap:
apiVersion: v1kind: ConfigMapmetadata: name: prometheus-agent-conf labels: name: prometheus-agent-conf namespace: flashcatdata: prometheus.yml: |- global: scrape_interval: 15s evaluation_interval: 15s scrape_configs: - job_name: "apiserver" kubernetes_sd_configs: - role: endpoints scheme: https tls_config: insecure_skip_verify: true authorization: credentials_file: /var/run/secrets/kubernetes.io/serviceaccount/token relabel_configs: - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name] action: keep regex: default;kubernetes;https remote_write: - url: "http://10.206.0.16:19000/prometheus/v1/write"
可以把上面的内容保存为 prometheus-agent-configmap.yaml,然后kubectl -f prometheus-agent-configmap.yaml
创建一下即可。
有了配置了,下面我们就可以部署 Prometheus 了,要把 Prometheus 进程当做 agent 来用,需要启用这个 feature,通过命令行参数--enable-feature=agent
即可轻松启用了,我们把 agent mode 模式的 Prometheus 部署成一个 Deployment,单副本。
apiVersion: apps/v1kind: Deploymentmetadata: name: prometheus-agent namespace: flashcat labels: app: prometheus-agentspec: replicas: 1 selector: matchLabels: app: prometheus-agent template: metadata: labels: app: prometheus-agent spec: serviceAccountName: categraf containers: - name: prometheus image: prom/prometheus args: - "--config.file=/etc/prometheus/prometheus.yml" - "--web.enable-lifecycle" - "--enable-feature=agent" ports: - containerPort: 9090 resources: requests: cpu: 500m memory: 500M limits: cpu: 1 memory: 1Gi volumeMounts: - name: prometheus-config-volume mountPath: /etc/prometheus/ - name: prometheus-storage-volume mountPath: /prometheus/ volumes: - name: prometheus-config-volume configMap: defaultMode: 420 name: prometheus-agent-conf - name: prometheus-storage-volume emptyDir: {}
要特别注意serviceAccountName: categraf
这一行内容别忘记了,以上 yaml 内容保存为 prometheus-agent-deployment.yaml,然后 apply 一下:
[work@tt-fc-dev01.nj yamls]$ kubectl apply -f prometheus-agent-deployment.yamldeployment.apps/prometheus-agent created
可以通过kubectl logs
查看刚才创建的 prometheus-agent-xx 那个 Pod 的日志,如果没有报错,理论上就问题不大了。
查看监控数据
在即时查询里查一下apiserver_request_total
这个指标,如果可以查到,就说明数据上报是正常的。孔飞老师之前整理过夜莺的 Kubernetes / Apiserver 监控大盘,可以导入测试,地址在这里。效果如下:
另外,Apiserver 的关键指标的含义,孔飞老师也做了整理,我也给摘过来了:
# HELP apiserver_request_duration_seconds [STABLE] Response latency distribution in seconds for each verb, dry run value, group, version, resource, subresource, scope and component.# TYPE apiserver_request_duration_seconds histogramapiserver响应的时间分布,按照url 和 verb 分类一般按照instance和verb+时间 汇聚# HELP apiserver_request_total [STABLE] Counter of apiserver requests broken out for each verb, dry run value, group, version, resource, scope, component, and HTTP response code.# TYPE apiserver_request_total counterapiserver的请求总数,按照verb、 version、 group、resource、scope、component、 http返回码分类统计# HELP apiserver_current_inflight_requests [STABLE] Maximal number of currently used inflight request limit of this apiserver per request kind in last second.# TYPE apiserver_current_inflight_requests gauge最大并发请求数, 按mutating(非get list watch的请求)和readOnly(get list watch)分别限制超过max-requests-inflight(默认值400)和max-mutating-requests-inflight(默认200)的请求会被限流apiserver变更时要注意观察,也是反馈集群容量的一个重要指标# HELP apiserver_response_sizes [STABLE] Response size distribution in bytes for each group, version, verb, resource, subresource, scope and component.# TYPE apiserver_response_sizes histogramapiserver 响应大小,单位byte, 按照verb、 version、 group、resource、scope、component分类统计# HELP watch_cache_capacity [ALPHA] Total capacity of watch cache broken by resource type.# TYPE watch_cache_capacity gauge按照资源类型统计的watch缓存大小# HELP process_cpu_seconds_total Total user and system CPU time spent in seconds.# TYPE process_cpu_seconds_total counter每秒钟用户态和系统态cpu消耗时间, 计算apiserver进程的cpu的使用率# HELP process_resident_memory_bytes Resident memory size in bytes.# TYPE process_resident_memory_bytes gaugeapiserver的内存使用量(单位:Byte)# HELP workqueue_adds_total [ALPHA] Total number of adds handled by workqueue# TYPE workqueue_adds_total counterapiserver中包含的controller的工作队列,已处理的任务总数# HELP workqueue_depth [ALPHA] Current depth of workqueue# TYPE workqueue_depth gaugeapiserver中包含的controller的工作队列深度,表示当前队列中要处理的任务的数量,数值越小越好 例如APIServiceRegistrationController admission_quota_controller
相关文章
- Kubernetes监控手册01-体系介绍
- Kubernetes监控手册02-宿主监控概述
- Kubernetes监控手册03-宿主监控实操
- Kubernetes监控手册04-监控Kube-Proxy
- Kubernetes监控手册05-监控Kubelet
关于作者
本文作者秦晓辉,Flashcat合伙人,文章内容是Flashcat技术团队共同沉淀的结晶,作者做了编辑整理,我们会持续输出监控、稳定性保障相关的技术文章,文章可转载,转载请注明出处,尊重技术人员的成果。
如果对 Nightingale、Categraf、Prometheus 等技术感兴趣,欢迎加入我们的微信群组,联系我(picobyte)拉入部落,和社区同仁一起探讨监控技术。
焦点资讯:Kubernetes监控手册06-监控APIServer
全球最资讯丨CRT&EXCRT(中国剩余定理和扩展中国剩余定理)
【新视野】学习笔记——redis事务、乐观锁、悲观锁
国内首家!统信操作系统成功获得商用密码产品认证证书
环球热点!“流浪地球”成功的概率有多高?你肯定想不到
当前视点!脑洞大开的机械键盘 内部竟搭CPU和GPU
天天百事通!阿里云推全国首个跨省域智慧大脑:汇聚江浙沪242项数据资源
全球资讯:不得不防!奥密克戎新变异毒株“双头犬”现身美国:已被世卫监测
【环球热闻】记录--Vue PC前端扫码登录
[概率论与数理统计]笔记:4.4 抽样分布
当前速讯:1.29数论课笔记
最新快讯!40万级乱杀!全新国产奔驰GLC配置曝光:四款车型、两种外观
全球焦点!Gamerant赞《黑神话·悟空》:虚幻5打造《西游记》传说值得期待
天天要闻:这外观似曾相识!荣耀Magic 5 Lite曝光:后置圆环三摄
全球快看:《狂飙》爆火出圈!《孙子兵法》登顶淘宝热搜 发货要等25天
男子2月没摘隐形眼镜:镜片长到眼球上
焦点日报:时区介绍
前沿热点:Matlab导入多个.mat文件进行画图
每日信息:对标三星索尼!SK海力士重组CMOS图像传感器团队
天天微头条丨网友吐槽美国医院3小时拔不出一根鱼刺 急诊那是真不急
全球微资讯!耶路撒冷老城千年护城河道惊现神秘手印 专家:或为工人恶作剧
最新快讯!立减40元:露得清氨基酸洗面奶19.9元到手 男女通用
世界看热讯:5G四足机器人“入职”中国电信核心机房:支持自主巡航 360度旋转夜视
乘法逆元
今日看点:C++11简易线程池实现
002-dockerfile部署java项目
当前观点:springboot~openfeign开启熔断之后MDC为null的理解
焦点播报:WebAPI_DAY1
猛禽之王!摄影爱好者抓拍到金雕展翅抓羊场面:超震撼
全球今亮点!《狂飙》爆火后 《孙子兵法》解析成微信读书飙升榜第一名
天际汽车刹车失灵 故障不断!车主售后找不到人
当前资讯!雷蛇宣布2月2日发布新品:或为毒蝰系列新品
72G《英雄联盟》源代码被盗 拳头游戏拒绝打钱 黑客:100万美元起拍
焦点要闻:关于pacemaker中资源启动的位置条件约束Location Constraints
【天天快播报】Codeforces Round #847 (Div. 3) ABCDE
焦点滚动:win32com操作word API精讲 第八集 Range和Selection的区别
多地现宰客乱象 央视评宰客事件:“一锤子买卖”?
【世界新要闻】明年的苹果iPad Pro将是重头戏!屏幕、后盖全都升级了
50只独立包装 超亚儿童N95医用防护口罩47.9元
全球热文:比亚迪:研发团队目前已覆盖各个电池技术路线
精选!无岳不成村!山东有个公交站叫“满江红” :住着岳飞后代
视焦点讯!《云管理服务白皮书》总结
【网关开发】7.Openresty使用cosocket API 发送http与tcp网络请求
美语发音【总结】
以前票房反超了会画海报恭喜对方:《满江红》却冷嘲热讽
全球今热点:碾压对手!OPPO Find X6工程机亮相:标准版都有潜望长焦
谷歌裁员细节曝光:开源主管被裁 61岁程序员在线求职
10分拉满!IGN发布《流浪地球2》影评:超越国际一流水准
环球新动态:全网音乐免费下载,音乐下载工具,音乐免费下载mp3格式,音乐下载器,小说下载,小说阅读,磁力链接聚合搜索,每日美女壁纸,如何免费下载想听的音乐或小说
天天日报丨【算法训练营day29】LeetCode491. 递增子序列 LeetCode46. 全排列 LeetCode47. 全排列II
关于前端低代码的一些看法
奔驰车主扔钱加油大姐捡钱偷抹泪引热议 当事人回应:网友愤怒素质差到家
动态焦点:蹭热度有风险 电商老店使用流浪地球标识遭索赔15万
当前速讯:海外观众热评《流浪地球2》:中国科幻片惊艳 比全球票房第四《阿凡达2》好看
要买的抓紧了!宝马将于2月起涨价:最高2万元
世界观天下!21岁男子撞车后向27岁“叔叔”道歉 车主果断索赔
【报资讯】骁龙778G还能再战!荣耀50/60系列获MagicOS 7.0升级
每日消息!博主赞特斯拉研发支出巨大:比亚迪、奔驰、理想都比不过
5支39.9元超划算:高露洁牙膏多效护理实惠家庭装套大促
Python工具箱系列(二十三)
天天观速讯丨JavaScript 条件判断与比较运算
环球热推荐:Python 的垃圾回收机制【译】
世界观焦点:Java 如何高亮 Excel 中低于或高于平均值的单元格
每日时讯!一加11同款!一加Ace 2外观首曝:环形镜头设计
全球资讯:春节假期后全国大部地区气温回升:南方最高可达20度 暖如春分
全球播报:生日蛋糕网店使用“流浪地球”标识 遭中影索赔15万
不是云南也不是海南!四川春节游客接待量全国第一
全球观焦点:吉利真会玩儿:汽车挡风玻璃上实现烟花秀
sacai是什么牌子?sacai有中国官网吗?
孑孓的读音是什么?孑孓是什么意思?
手机水货是什么意思?手机水货和行货有什么区别?
木棉花的春天大结局是什么?木棉花的春天全部演员表
绿芜是谁演的?绿芜为什么投河自尽?
电脑出现报警声是怎么回事?电脑出现报警声怎么解决?
松下电饭煲质量怎么样?松下电饭煲怎么调时间?
【环球聚看点】指向立体星(随便起的名)的建立与使用
小米2a手机是什么系统?小米2A手机充电保护怎么打开?
诺基亚210什么时候上市的?诺基亚210手机参数
戴尔的台式机怎么进入bios?戴尔台式机开不了机怎么办?
跑2500公里高速 踩着最后几秒过收费站:女子直呼惊险刺激
今日最新!流浪地球2原来是在青岛流浪 流亭机场戏份最多
全球观察:1:1真机开模!绿联iPhone钢化膜新年大促:2片到手5.22元起
外卖小哥过年3天赚2695元:年三十到初二上班不回家
环球关注:新一代宝马X1或将3月上市:尺寸再加长、堪比大哥X3
flash8.ocx或其附件之一不能正确注册
【全球速看料】Linux下docker安装部署
当前通讯!芬兰一动物园拟送大熊猫回中国:缺钱养不了
环球今头条!微软逼你升级Win11?Windows 10 ISO等正常下载
门店329元 361° 云翎运动鞋89元到手:2.7折
当前最新:中国科学家打造“类真人皮肤”:受伤1小时完全愈合
全球通讯!特斯拉强推“单踏板”遭吐槽 博主直言:价值观、是非观畸形
环球热门:读Java8函数式编程笔记04_类库
精彩看点:PHP反序列化新手入门学习总结
k8s~fluentd从kafka到elk
天天日报丨《满江红》官方连续发文回应争议扩散:统编教材删除岳飞满江红?从未选编
【天天新要闻】国内还有人看吗?漫威超英大片《黑豹2》被偷跑:1080p高清版流出
【世界快播报】卖价6.5亿 全球订单超1035架:国产大飞机C919有望3月载客飞行
今热点:评分不断下跌 电影《满江红》起诉4位微博大V 复旦教授回应
票房超24亿 中国科幻片里程碑!郭帆回应《流浪地球3》:放心了 喜欢接着拍
世界信息:博客主题 Lite