最新要闻
- 今日热议:盘点被时代淘汰的厨房产物!谁买谁后悔
- 超迷你的M.2 2230 SSD新品铠侠BG6发布:2TB容量!第6代闪存性能暴增
- 光追游戏实测 RTX 4060/70/80体验究竟相差多少_全球球精选
- 丰田霸道变速箱油哪个牌子好_丰田霸道变速箱油灯亮 世界快资讯
- 陕西立夏后突然又降雪 游客只穿了短袖冻惨:专家释疑罕见气候
- 最成功主播!薇娅夫妇半年收获两家上市公司 价值约4.2亿_世界今头条
- 全球最资讯丨i7-13700K相当于游戏本的哪个U 结果有点意外
- provide sth_provide
- 【聚看点】开锁公司上门多少钱海沧(开锁公司上门多少钱)
- 全球关注:俄罗斯新车销量暴跌 价格却狂涨:丰田凯美瑞卖到130万
- 杭州将拥有13座高铁站 但离中国第一还差得远
- 中国首个国际化影视级VP虚拟制片影棚落地上海 全套好莱坞技术_资讯
- 桌面版RTX 4070与移动版RTX 4080对比实测!谁更强一目了然|环球即时
- 孙子用爷爷苹果手机充7万手游退款遭拒:几个月就把钱弄没了 焦点播报
- tua什么梗_tui 是什么梗简介介绍 世界视点
- 全行业投入力度最大!京东618大促5月23日预售:百亿补贴买贵双倍赔
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
深入理解Kube-APIServer 世界视点
深入理解Kube-APIServer¶
目录 - 认证 - 鉴权 - 准入 Mutating Validating Admission - 限流 - APIServer对象的实现
【资料图】
API Server¶
kube-apiserver是Kubernetes最重要的核心组件之一,主要提供以下的功能
- 提供集群管理的REST API接口,包括认证授权、数据校验以及集群状态变更 等
- 提供其他模块之间的数据交互和通信的枢纽(其他模块通过API Server查询或 修改数据,只有API Server才直接操作etcd)
访问控制概览¶
Kubernetes API的每个请求都会经过多阶段的访问控制之后才会被接受,这包括认证、授权以及 准入控制(Admission Control)等。
访问控制细节¶
认证¶
开启TLS时,所有的请求都需要首先认证。Kubernetes支持多种认证机制,并支持同时
开启多个认证插件(只要有一个认证通过即可)。如果认证成功,则用户的username会
传入授权模块做进一步授权验证;而对于认证失败的请求则返回HTTP 401。
认证插件¶
- X509证书
- 使用X509客户端证书只需要API Server启动时配置--client-ca-file=SOMEFILE。在证书认证时,其CN域用作用户名,而组织 机构域则用作group名。
- 静态Token文件
- 使用静态Token文件认证只需要APIServer启动时配置--token-auth-file=SOMEFILE。
- 该文件为csv格式,每行至少包括三列token,username,userid, token,user,uid,"group1,group2,group3”
- 引导Token
- 为了支持平滑地启动引导新的集群,Kubernetes 包含了一种动态管理的持有者令牌类型,称作启动引导令牌(Bootstrap Token)。
- 这些令牌以Secret 的形式保存在kube-system名字空间中,可以被动态管理和创建。
- 控制器管理器包含的TokenCleaner控制器能够在启动引导令牌过期时将其删除。
- 在使用kubeadm部署Kubernetes时,可通过kubeadmtoken list命令查询。
- 静态密码文件
- 需要APIServer启动时配置--basic-auth-file=SOMEFILE,文件格式为csv,每行至少三列password, user, uid,后面是可选 的group名 password,user,uid,"group1,group2,group3”
- ServiceAccount
- ServiceAccount是Kubernetes自动生成的,并会自动挂载到容器的/run/secrets/kubernetes.io/serviceaccount目录中。
- OpenID
- OAuth 2.0的认证机制
- Webhook 令牌身份认证
- --authentication-token-webhook-config-file指向一个配置文件,其中描述如何访问远程的Webhook 服务。
- --authentication-token-webhook-cache-ttl用来设定身份认证决定的缓存时间。默认时长为 2 分钟。
- 匿名请求
- 如果使用AlwaysAllow以外的认证模式,则匿名请求默认开启,但可用--anonymous-auth=false禁止匿名请求。
基于webhook的认证服务集成¶
https://github.com/appscode/guard
构建符合Kubernetes规范的认证服务¶
需要依照Kubernetes规范,构建认证服务,用来认证tokenreviewrequest
构建认证服务
- 认证服务需要满足如下Kubernetes的规范 ➢ URL:https://authn.example.com/authenticate➢ Method:POST ➢ Input: ➢ Output:
{ "apiVersion": "authentication.k8s.io/v1beta1", "kind": "TokenReview","spec": { "token": "(BEARERTOKEN)" } } { "apiVersion": "authentication.k8s.io/v1beta1", "kind": "TokenReview", "status": { "authenticated": true, "user": { "username": "janedoe@example.com", "uid": "42", "groups": [ "developers", "qa" ]}} }
开发认证服务¶
解码认证请求
decoder := json.NewDecoder(r.Body)var tr authentication.TokenReviewerr := decoder.Decode(&tr)if err != nil { log.Println("[Error]", err.Error()) w.WriteHeader(http.StatusBadRequest) json.NewEncoder(w).Encode(map[string]interface{}{ "apiVersion": "authentication.k8s.io/v1beta1", "kind": "TokenReview", "status": authentication.TokenReviewStatus{ Authenticated: false, }, }) return}
转发认证请求至认证服务器
//CheckUserts:=oauth2.StaticTokenSource(&oauth2.Token{AccessToken:tr.Spec.Token},)tc:=oauth2.NewClient(oauth2.NoContext,ts)client:=github.NewClient(tc)user,_,err:=client.Users.Get(context.Background(),"")iferr!=nil{log.Println("[Error]",err.Error())w.WriteHeader(http.StatusUnauthorized)json.NewEncoder(w).Encode(map[string]interface{}{ "apiVersion":"authentication.k8s.io/v1beta1", "kind": "TokenReview", "status":authentication.TokenReviewStatus{ Authenticated:false, },})return}
认证结果返回给APIServer
w.WriteHeader(http.StatusOK)trs := authentication.TokenReviewStatus{ Authenticated: true, User: authentication.UserInfo{ Username: *user.Login, UID: *user.Login, },}json.NewEncoder(w).Encode(map[string]interface{}{ "apiVersion": "authentication.k8s.io/v1beta1", "kind": "TokenReview", "status": trs, })
配置认证服务¶
{ "kind": "Config", "apiVersion": "v1", "preferences": {}, "clusters": [ { "name": "github-authn", "cluster": { "server": "http://localhost:3000/authenticate" } }], "users": [ { "name": "authn-apiserver", "user": { "token": "secret" } }], "contexts": [ { "name": "webhook", "context": { "cluster": "github-authn", "user": "authn-apiserver" } }], "current-context": "webhook"}
配置apiserver¶
可以是任何认证系统
- 但在用户认证完成后,生成代表用户身份的token
- 该token通常是有失效时间的
- 用户获取该token以后以后,将token配置进 kubeconfig
修改apiserver设置,开启认证服务,apiserver保证将所有收到的 请求中的token信息,发给认证服务进行验证
- --authentication-token-webhook-config-file,该 文件描述如何访问认证服务
- --authentication-token-webhook-cache-ttl,默 认 2 分钟
配置文件需要mount进Pod
配置文件中的服务器地址需要指向authService
{"kind": "Config","apiVersion": "v1","preferences": {},"clusters": [{ "name": "github-authn", "cluster": { "server": "http://localhost:3000/authenticate" }}],"users": [{"name": "authn-apiserver","user": { "token": "secret" }}],"contexts": [{"name": "webhook","context": { "cluster": "github-authn", "user": "authn-apiserver" }}],"current-context": "webhook"}
生产系统中遇到的陷阱¶
基于Keystone的认证插件导致Keystone故障且无法恢复Keystone是企业关键服务Kubernetes以Keystone作为认证插件Keystone在出现故障后会抛出 401 错误Kubernetes发现 401 错误后会尝试重新认证大多数controller都有指数级backoff,重试间隔越来越慢但gophercloud针对过期token会一直retry大量的request积压在Keystone导致服务无法恢复Kubernetes成为压死企业认证服务的最后一根稻草
解决方案?- Circuitbreak
- Ratelimit
2. 鉴权¶
授权¶
授权主要是用于对集群资源的访问控制,通过检查请求包含的相关属性值,与相对应的访问策略相比较,API请求必须满足某 些策略才能被处理。跟认证类似,Kubernetes也支持多种授权机制,并支持同时开启多个授权插件(只要有一个验证通过即 可)。如果授权成功,则用户的请求会发送到准入控制模块做进一步的请求验证;对于授权失败的请求则返回HTTP 403。
Kubernetes授权仅处理以下的请求属性:
- user, group, extra
- API、请求方法(如get、post、update、patch和delete)和请求路径(如/api)
- 请求资源和子资源
- Namespace
- API Group
目前,Kubernetes支持以下授权插件:
- ABAC
- RBAC
- Webhook
- Node
RBAC vs ABAC¶
ABAC(Attribute Based Access Control)本来是不错的概念,但是在Kubernetes 中的实现比较 难于管理和理解,而且需要对Master 所在节点的SSH 和文件系统权限,要使得对授权的变更成 功生效,还需要重新启动API Server。
而RBAC 的授权策略可以利用kubectl 或者Kubernetes API 直接进行配置。RBAC 可以授权给用户, 让用户有权进行授权管理,这样就可以无需接触节点,直接进行授权管理。RBAC 在Kubernetes 中被映射为API 资源和操作。
RBAC老图¶
RBAC新解¶
Role与ClusterRole¶
Role(角色)是一系列权限的集合,例如一个角色可以包含读取Pod 的权限和列出Pod 的权限。 Role只能用来给某个特定namespace中的资源作鉴权,对多namespace和集群级的资源或者是非 资源类的API(如/healthz)使用ClusterRole。
# Role示例kind: RoleapiVersion: rbac.authorization.k8s.io/v1metadata: namespace: default name: pod-readerrules:- apiGroups: [""] # "" indicates the core API group resources: ["pods"] verbs: ["get", "watch", "list"]# ClusterRole示例kind: ClusterRoleapiVersion: rbac.authorization.k8s.io/v1metadata:# "namespace" omitted since ClusterRoles are not namespaced name: secret-readerrules:- apiGroups: [""] resources: ["secrets"] verbs: ["get", "watch", "list"]
binding¶
# RoleBinding示例(引用ClusterRole)# This role binding allows "dave" to read secrets in the "development"namespace.kind: RoleBindingapiVersion: rbac.authorization.k8s.io/v1metadata:name: read-secretsnamespace: development # This only grants permissions within the"development" namespace.subjects:- kind: User name: dave apiGroup: rbac.authorization.k8s.ioroleRef: kind: ClusterRole name: secret-reader apiGroup: rbac.authorization.k8s.io
账户/组的管理¶
角色绑定(Role Binding)是将角色中定义的权限赋予一个或者一组用户。
它包含若干主体(用户、组或服务账户)的列表和对这些主体所获得的角色的引用。
组的概念:
- 当与外部认证系统对接时,用户信息(UserInfo)可包含Group信息,授权可针对用户群组
- 当对ServiceAccount授权时,Group代表某个Namespace下的所有ServiceAccount
针对群租授权¶
apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata: name: read-secrets-globalsubjects: - kind: Group name: manager # "name" 是区分大小写的 apiGroup: rbac.authorization.k8s.ioroleRef: kind: ClusterRole name: secret-reader apiGroup: rbac.authorization.k8s.ioapiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata: name: read-secrets-globalsubjects: - kind: Group name: system:serviceaccounts:qa apiGroup: rbac.authorization.k8s.ioroleRef: kind: ClusterRole name: secret-reader apiGroup: rbac.authorization.k8s.io
规划系统角色¶
User
- 管理员 ➢所有资源的所有权限??
- 普通用户 ➢ 是否有该用户创建的namespace下的所有object的操作权限? ➢ 对其他用户的namespace资源是否可读,是否可写?
SystemAccount
- SystemAccount是开发者(kubernetesdeveloper或者domaindeveloper)创建应用后,应 用于apiserver通讯需要的身份
- 用户可以创建自定的ServiceAccount,kubernetes也为每个namespace创建default ServiceAccount
- DefaultServiceAccount通常需要给定权限以后才能对apiserver做写操作
实现方案¶
在cluster创建时,创建自定义的role,比如namespace-creator
Namespace-creatorrole定义用户可操作的对象和对应的读写操作。
创建自定义的namespaceadmissioncontroller
- 当namespace创建请求被处理时,获取当前用户信息并annotate到namespace
创建RBAC controller
- Watchnamespace的创建事件
- 获取当前namespace的创建者信息
- 在当前namespace创建rolebinding对象,并将namespace-creator 角色和用户绑定
与权限相关的其他最佳实践¶
ClusterRole是非namespace绑定的,针对整个集群生效
通常需要创建一个管理员角色,并且绑定给开发运营团队成员
ThirdPartyResource和CustomResourceDefinition是全局资源,普通用户创建 ThirdPartyResource以后,需要管理员授予相应权限后才能真正操作该对象
针对所有的角色管理,建议创建spec,用源代码驱动
- 虽然可以通过edit操作来修改权限,但后期会导致权限管理混乱,可能会有很多临时创建出来的 角色和角色绑定对象,重复绑定某一个资源权限
权限是可以传递的,用户A可以将其对某对象的某操作,抽取成一个权限,并赋给用户B
防止海量的角色和角色绑定对象,因为大量的对象会导致鉴权效率低,同时给apiserver增加负担
ServiceAccount也需要授权的,否则你的component可能无法操作某对象
Tips:SSH到master节点通过insecureport访问apiserver可绕过鉴权,当需要做管理操作又没 有权限时可以使用(不推荐)
运营过程中出现的陷阱¶
案例1:
- 研发人员为提高系统效率,将update方法修改为patch
- 研发人员本地非安全测试环境测试通过
- 上生产,发现不work
- 原因:忘记更新rolebinding,对应的serviceaccount没有patch权限
案例2:
- 研发人员创建CRD,并针对该CRD编程
- 上生产后不工作
- 原因,该CRD未授权,对应的组件get不到对应的CRD资源
3. 准入¶
准入控制¶
为资源增加自定义属性
- 作为多租户集群方案中的一环,我们需要在namespace的准入控制中,获取用户信息,并将用 户信息更新的namespace的annotation
只有当namespace中有有效用户信息时,我们才可以在namespace创建时,自动绑定用户权限, namespace才可用。
准入控制(Admission Control)在授权后对请求做进一步的验证或添加默认参数。不同于授权 和认证只关心请求的用户和操作,准入控制还处理请求的内容,并且仅对创建、更新、删除或连 接(如代理)等有效,而对读操作无效。
准入控制支持同时开启多个插件,它们依次调用,只有全部插件都通过的请求才可以放过进入系 统。
准入控制插件¶
AlwaysAdmit: 接受所有请求。
AlwaysPullImages: 总是拉取最新镜像。在多租户场景下非常有用。
DenyEscalatingExec: 禁止特权容器的exec和attach操作。
ImagePolicyWebhook: 通过webhook决定image策略,需要同时配置--admission-control- config-file
ServiceAccount:自动创建默认ServiceAccount,并确保Pod引用的ServiceAccount已经存在
SecurityContextDeny:拒绝包含非法SecurityContext配置的容器
ResourceQuota:限制Pod的请求不会超过配额,需要在namespace中创建一个 ResourceQuota对象
LimitRanger:为Pod设置默认资源请求和限制,需要在namespace中创建一个LimitRange对 象
InitialResources:根据镜像的历史使用记录,为容器设置默认资源请求和限制
NamespaceLifecycle:确保处于termination状态的namespace不再接收新的对象创建请求, 并拒绝请求不存在的namespace
DefaultStorageClass:为PVC设置默认StorageClass
DefaultTolerationSeconds:设置Pod的默认forgivenesstoleration为 5 分钟
PodSecurityPolicy:使用PodSecurity Policies时必须开启
NodeRestriction:限制kubelet仅可访问node、endpoint、pod、service以及secret、 configmap、PV和PVC等相关的资源
除默认的准入控制插件以外,Kubernetes预留了准入控制插件的扩展点,用户可自定义准入控制 插件实现自定义准入功能
MutatingWebhookConfiguration:变形插件,支持对准入对象的修改
ValidatingWebhookConfiguration:校验插件,只能对准入对象合法性进行校验,不能修改
# {{if eq .k8snode_validating "enabled"}}apiVersion: admissionregistration.k8s.io/v1beta1kind: MutatingWebhookConfigurationmetadata: name: ns-mutating.webhook.k8s.iowebhooks: - clientConfig: caBundle: {{.serverca_base64}} url: https://admission.local.tess.io/apis/admission.k8s.io/v1alpha1/ ns-mutating failurePolicy: Fail name: ns-mutating.webhook.k8s.io namespaceSelector: {}rules:- apiGroups: - "" apiVersions: - "*" operations: - CREATE resources: - nodessideEffects: Unknown# {{end}}
准入控制
配额管理
- 原因:资源有限,如何限定某个用户有多少资源?
方案:
- 预定义每个Namespace的ResourceQuota,并把spec保存为configmap ➢ 用户可以创建多少个Pod ➢BestEffortPod ➢ QoSPod ➢ 用户可以创建多少个service ➢ 用户可以创建多少个ingress ➢ 用户可以创建多少个serviceVIP
- 创建ResourceQuotaController ➢ 监控namespace创建事件,当namespace创建时,在该namespace创建对应的 ResourceQuota对象
- apiserver中开启ResourceQuota的admissionplugin
4. 限流¶
计数器固定窗口算法¶
原理就是对一段固定时间窗口内的请求进行计数,如果请求数超过了阈值,则舍弃该请求;
如果没有达到设定的阈值,则接受该请求,且计数加 1 。
当时间窗口结束时,重置计数器为 0 。
计数器滑动窗口算法¶
在固定窗口的基础上,将一个计时窗口分成了若干个小窗口,然后每个小窗口维护一个独立的计 数器。
当请求的时间大于当前窗口的最大时间时,则将计时窗口向前平移一个小窗口。
平移时,将第一个小窗口的数据丢弃,然后将第二个小窗口设置为第一个小窗口,同时在最后面 新增一个小窗口,将新的请求放在新增的小窗口中。
同时要保证整个窗口中所有小窗口的请求数目之后不能超过设定的阈值。
漏斗算法¶
漏斗算法的原理也很容易理解。请求来了之后会首先进到漏斗里,然后漏斗以恒定的速率将请求 流出进行处理,从而起到平滑流量的作用。
当请求的流量过大时,漏斗达到最大容量时会溢出,此时请求被丢弃。
在系统看来,请求永远是以平滑的传输速率过来,从而起到了保护系统的作用。
令牌桶算法¶
令牌桶算法是对漏斗算法的一种改进,除了能够起到限流的作用外,还允许一定程度的流量突发。
在令牌桶算法中,存在一个令牌桶,算法中存在一种机制以恒定的速率向令牌桶中放入令牌。
令牌桶也有一定的容量,如果满了令牌就无法放进去了。
当请求来时,会首先到令牌桶中去拿令牌,如果拿到了令牌,则该请求会被处理,并消耗掉拿到 的令牌;
如果令牌桶为空,则该请求会被丢弃。
APIServer中的限流¶
max-requests-inflight:在给定时间内的最大non-mutating 请求数
max-mutating-requests-inflight:在给定时间内的最大mutating 请求数,调整apiserver的 流控qos
代码 staging/src/k8s.io/apiserver/pkg/server/filters/maxinflight.go:WithMaxInFlightLimit()
传统限流方法的局限性¶
- 粒度粗
- 无法为不同用户,不同场景设置不通的限流
- 单队列
- 共享限流窗口/桶,一个坏用户可能会将整个系统堵塞,其他正常用户的请求无法被及时处 理
- 不公平
- 正常用户的请求会被排到队尾,无法及时处理而饿死
- 无优先级
- 重要的系统指令一并被限流,系统故障难以恢复
API Priority and Fairness¶
- APF 以更细粒度的方式对请求进行分类和隔离。
- 它还引入了空间有限的排队机制,因此在非常短暂的突发情况下,API 服务器不会拒绝任何请 求。
- 通过使用公平排队技术从队列中分发请求,这样, 一个行为不佳的控制器就不会饿死其他控制 器(即使优先级相同)。
- APF的核心
- 多等级
- 多队列
- APF 的实现依赖两个非常重要的资源FlowSchema, PriorityLevelConfiguration
- APF 对请求进行更细粒度的分类,每一个请求分类对应一个FlowSchema(FS)
- FS 内的请求又会根据distinguisher 进一步划分为不同的Flow.
- FS 会设置一个优先级(Priority Level, PL),不同优先级的并发资源是隔离的。所以不同优先级的资源不会相互排挤。特定优先级的请求可以被高优处理。
- 一个PL 可以对应多个FS,PL 中维护了一个QueueSet,用于缓存不能及时处理的请求,请求不会因为超出PL 的并发限制而被丢弃。
- FS 中的每个Flow 通过shuffle sharding算法从QueueSet选取特定的queues 缓存请求。
- 每次从QueueSet中取请求执行时,会先应用fair queuing 算法从QueueSet中选中一个queue,然后从这个queue中取出oldest 请求执行。所以即使是同一个PL 内的请求,也不会出现一个Flow 内的请求一直占用资源的不公平现象。
概念¶
- 传入的请求通过FlowSchema按照其属性分类,并分配优先级。
- 每个优先级维护自定义的并发限制,加强了隔离度,这样不同优先级的请求,就不会相互饿死。
- 在同一个优先级内,公平排队算法可以防止来自不同flow的请求相互饿死。
- 该算法将请求排队,通过排队机制,防止在平均负载较低时,通信量突增而导致请求失败。
优先级¶
- 如果未启用APF,API 服务器中的整体并发量将受到kube-apiserver的参数--max- requests-inflight和--max-mutating-requests-inflight的限制。
- 启用 APF 后,将对这些参数定义的并发限制进行求和,然后将总和分配到一组可配置的 优先 级中。每个传入的请求都会分配一个优先级;
- 每个优先级都有各自的配置,设定允许分发的并发请求数。
- 例如,默认配置包括针对领导者选举请求、内置控制器请求和Pod 请求都单独设置优先级。 这表示即使异常的Pod 向API 服务器发送大量请求,也无法阻止领导者选举或内置控制器的 操作执行成功。
排队¶
- 即使在同一优先级内,也可能存在大量不同的流量源。
- 在过载情况下,防止一个请求流饿死其他流是非常有价值的(尤其是在一个较为常见的场景中,一个有故 障的客户端会疯狂地向kube-apiserver发送请求,理想情况下,这个有故障的客户端不应对其他客户端 产生太大的影响)。
- 公平排队算法在处理具有相同优先级的请求时,实现了上述场景。
- 每个请求都被分配到某个流中,该流由对应的FlowSchema的名字加上一个流区分项(Flow Distinguisher)来标识。
- 这里的流区分项可以是发出请求的用户、目标资源的名称空间或什么都不是。
- 系统尝试为不同流中具有相同优先级的请求赋予近似相等的权重。
- 将请求划分到流中之后,APF 功能将请求分配到队列中。
- 分配时使用一种称为混洗分片(Shuffle-Sharding)的技术。该技术可以相对有效地利用队列隔离低强 度流与高强度流。
- 排队算法的细节可针对每个优先等级进行调整,并允许管理员在内存占用、公平性(当总流量超标时,各 个独立的流将都会取得进展)、突发流量的容忍度以及排队引发的额外延迟之间进行权衡。
豁免请求¶
某些特别重要的请求不受制于此特性施加的任何限制。这些豁免可防止不当的流控配置完全禁用 API 服务器。
默认配置¶
- system
- 用于system:nodes组(即kubelets)的请求;kubelets必须能连上API 服务器,以便工作负 载能够调度到其上。
- leader-election
- 用于内置控制器的领导选举的请求(特别是来自kube-system名称空间中system:kube- controller-manager和system:kube-scheduler用户和服务账号,针对endpoints、 configmaps或leases的请求)。
- 将这些请求与其他流量相隔离非常重要,因为领导者选举失败会导致控制器发生故障并重新启动, 这反过来会导致新启动的控制器在同步信息时,流量开销更大。
- workload-high
- 优先级用于内置控制器的请求。
- workload-low
- 优先级适用于来自任何服务帐户的请求,通常包括来自Pods 中运行的控制器的所有请求。
- global-default
- 优先级可处理所有其他流量,例如:非特权用户运行的交互式kubectl命令。
- exempt
- 优先级的请求完全不受流控限制:它们总是立刻被分发。特殊的exemptFlowSchema 把system:masters组的所有请求都归入该优先级组。
- catch-all
- 优先级与特殊的catch-allFlowSchema结合使用,以确保每个请求都分类。
- 一般不应该依赖于catch-all的配置,而应适当地创建自己的catch-allFlowSchema和 PriorityLevelConfigurations(或使用默认安装的global-default配置)。
- 为了帮助捕获部分请求未分类的配置错误,强制要求catch-all优先级仅允许 5 个并发份额, 并且不对请求进行排队,使得仅与catch-allFlowSchema匹配的流量被拒绝的可能性更高, 并显示HTTP 429 错误。
PriorityLevelConfiguration¶
一个PriorityLevelConfiguration表示单个隔离类型。 每个PriorityLevelConfigurations对未完成的请求数有各自的限制,对排队中的请求数也有限制。
FlowSchema¶
FlowSchema匹配一些入站请求,并将它们分配给优先级。
每个入站请求都会对所有FlowSchema测试是否匹配,首先从matchingPrecedence数值最低的匹配开始 (我们认为这是逻辑上匹配度最高),然后依次进行,直到首个匹配出现
调试¶
- /debug/api_priority_and_fairness/dump_priority_levels——所有优先级及其当前状态 的列表
kubectlget --raw /debug/api_priority_and_fairness/dump_priority_levels
- /debug/api_priority_and_fairness/dump_queues——所有队列及其当前状态的列表
kubectlget --raw /debug/api_priority_and_fairness/dump_queues
- /debug/api_priority_and_fairness/dump_requests——当前正在队列中等待的所有请求 的列表
kubectlget --raw /debug/api_priority_and_fairness/dump_requests
5. 高可用APIServer¶
启动apiserver示例¶
kube-apiserver--feature-gates=AllAlpha=true --runtime-config=api/all=true \--requestheader-allowed-names=front-proxy-client \--client-ca-file=/etc/kubernetes/pki/ca.crt \--allow-privileged=true \--experimental-bootstrap-token-auth=true \--storage-backend=etcd3 \--requestheader-username-headers=X-Remote-User \--requestheader-extra-headers-prefix=X-Remote-Extra-\--service-account-key-file=/etc/kubernetes/pki/sa.pub \--tls-cert-file=/etc/kubernetes/pki/apiserver.crt \--tls-private-key-file=/etc/kubernetes/pki/apiserver.key\--kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt \--requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt \--enabled-hooks=NamespaceLifecycle,LimitRanger,ServiceAccount,PersistentVolumeLabel,DefaultStorageClass,ResourceQuota \--requestheader-group-headers=X-Remote-Group \--kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key\--secure-port=6443 \--kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname\--service-cluster-ip-range=10.96.0.0/12 \--advertise-address=192.168.0.20 --etcd-servers=http://127.0.0.1:2379
构建高可用的多副本apiserver¶
apiserver是无状态的RestServer
无状态所以方便ScaleUp/down
负载均衡
- 在多个apiserver实例之上,配置负载均衡
- 证书可能需要加上LoadbalancerVIP重新生成
预留充足的CPU、内存资源¶
随着集群中节点数量不断增多,APIServer对CPU和内存的开销也不断增大。过少的CPU资源会降 低其处理效率,过少的内存资源会导致Pod被OOMKilled,直接导致服务不可用。在规划 APIServer资源时,不能仅看当下需求,也要为未来预留充分。
善用速率限制(RateLimit)¶
APIServer的参数“--max-requests-inflight”和“--max-mutating-requests-inflight”支持 在给定时间内限制并行处理读请求(包括Get、List和Watch操作)和写请求(包括Create、 Delete、Update和Patch操作)的最大数量。当APIServer接收到的请求超过这两个参数设定的 值时,再接收到的请求将会被直接拒绝。通过速率限制机制,可以有效地控制APIServer内存的使 用。如果该值配置过低,会经常出现请求超过限制的错误,如果配置过高,则APIServer可能会因 为占用过多内存而被强制终止,因此需要根据实际的运行环境,结合实时用户请求数量和 APIServer的资源配置进行调优。
客户端在接收到拒绝请求的返回值后,应等待一段时间再发起重试,无间隔的重试会加重 APIServer的压力,导致性能进一步降低。针对并行处理请求数的过滤颗粒度太大,在请求数量比 较多的场景,重要的消息可能会被拒绝掉,自1.18版本开始,社区引入了优先级和公平保证 (Priority and Fairness)功能,以提供更细粒度地客户端请求控制。该功能支持将不同用户或 不同类型的请求进行优先级归类,保证高优先级的请求总是能够更快得到处理,从而不受低优先 级请求的影响。
设置合适的缓存大小¶
APIServer与etcd之间基于gRPC协议进行通信,gRPC协议保证了二者在大规模集群中的数据高速 传输。gRPC基于连接复用的HTTP/2协议,即针对相同分组的对象,APIServer和etcd之间共享相 同的TCP连接,不同请求由不同的stream传输。
一个HTTP/2连接有其stream配额,配额的大小限制了能支持的并发请求。APIServer提供了集 群对象的缓存机制,当客户端发起查询请求时,APIServer默认会将其缓存直接返回给客户端。缓 存区大小可以通过参数“--watch-cache-sizes”设置。针对访问请求比较多的对象,适当设置 缓存的大小,极大降低对etcd的访问频率,节省了网络调用,降低了对etcd集群的读写压力,从 而提高对象访问的性能。
但是APIServer也是允许客户端忽略缓存的,例如客户端请求中ListOption中没有设置 resourceVersion,这时APIServer直接从etcd拉取最新数据返回给客户端。客户端应尽量避免此 操作,应在ListOption中设置resourceVersion为 0 ,APIServer则将从缓存里面读取数据,而不 会直接访问etcd。
客户端尽量使用长连接¶
当查询请求的返回数据较大且此类请求并发量较大时,容易引发TCP链路的阻塞,导致其他查询 操作超时。因此基于Kubernetes开发组件时,例如某些DaemonSet和Controller,如果要查询 某类对象,应尽量通过长连接ListWatch监听对象变更,避免全量从APIServer获取资源。如果在 同一应用程序中,如果有多个Informer监听APIServer资源变化,可以将这些Informer合并,减 少和APIServer的长连接数,从而降低对APIServer的压力。
如何访问APIServer¶
对外部客户(user/client/admin),永远只通过LoadBalancer访问
只有当负载均衡出现故障时,管理员才切换到apiserverIP进行管理
内部客户端,优先访问cluster IP?(是否一定如此?)
搭建多租户的Kubernetes集群¶
授信
- 认证: ➢ 禁止匿名访问,只允许可信用户做操作。
- 授权: ➢ 基于授信的操作,防止多用户之间互相影响,比如普通用户删除Kubernetes核心服务,或者A用户删除或修改B用户 的应用。
隔离
- 可见行隔离: ➢ 用户只关心自己的应用,无需看到其他用户的服务和部署。
- 资源隔离: ➢ 有些关键项目对资源需求较高,需要专有设备,不与其他人共享。
- 应用访问隔离: ➢ 用户创建的服务,按既定规则允许其他用户访问。
资源管理
- Quota管理 ➢ 谁能用多少资源?
认证¶
与企业现有认证系统集成
- 很多企业基于MicrosoftActiveDirectory提供认证服务
选择认证插件 ➢ 选择webhook作为认证插件(*以此为例展开) ➢ 也可以选择Keystone作为认证插件,以MicrosoftAd作为backend搭建keystone服务
一旦认证完成,Kubernetes即可获取当前用户信息(主要是用户名),并针对该用户做授权。授权和准入控 制完成后,该用户的请求完成。
注册APIService¶
apiVersion: apiregistration.k8s.io/v1kind: APIServicemetadata:labels: kube-aggregator.kubernetes.io/automanaged: onstartname: v1.spec: groupPriorityMinimum: 18000 version: v1 versionPriority: 1status: conditions: - lastTransitionTime: "2020- 08 - 16T05:35:33Z" message: Local APIServices are always available reason: Local status: "True" type: Available
授权¶
ABAC有期局限性,针对每个account都需要做配置,并且需要重启apiserver
RBAC更灵活,更符合我们通常熟知的权限管理
RBAC¶
规划系统角色¶
User
- 管理员 ➢ 所有资源的所有权限??
- 普通用户 ➢ 是否有该用户创建的namespace下的所有object的操作权限? ➢ 对其他用户的namespace资源是否可读,是否可写?
SystemAccount
- SystemAccount是开发者(kubernetesdeveloper或者domaindeveloper)创建应用后,应 用于apiserver通讯需要的身份
- 用户可以创建自定的ServiceAccount,kubernetes也为每个namespace创建default ServiceAccount
- DefaultServiceAccount通常需要给定权限以后才能对apiserver做写操作
实现方案¶
在cluster创建时(kube-up.sh),创建自定义的role,比如namespace-creator
namespace-creatorrole定义用户可操作的对象和对应的读写操作。
创建自定义的namespaceadmissioncontroller
- 当namespace创建请求被处理时,获取当前用户信息并annotate(注释)到namespace
创建RBAC controller
- Watchnamespace的创建事件
- 获取当前namespace的创建者信息
- 在当前namespace创建rolebinding对象,并将namespace-creator 角色和用户绑定
与权限相关的其他最佳实践¶
ClusterRole是非namespace绑定的,针对整个集群生效
通常需要创建一个管理员角色,并且绑定给开发运营团队成员
ThirdPartyResource和CustomResourceDefinition是全局资源,普通用户创建ThirdPartyResource以后, 需要管理员授予相应权限后才能真正操作该对象
针对所有的角色管理,建议创建spec,用源代码驱动
- 虽然可以通过edit操作来修改权限,但后期会导致权限管理混乱,可能会有很多临时创建出来的 角色和角色绑定对象,重复绑定某一个资源权限
权限是可以传递的,用户A可以将其对某对象的某操作,抽取成一个权限,并赋给用户B
防止海量的角色和角色绑定对象,因为大量的对象会导致鉴权效率低,同时给apiserver增加负担
ServiceAccount也需要授权的,否则你的component可能无法操作某对象
Tips:SSH到master节点通过insecureport访问apiserver可绕过鉴权,当需要做管理操作又没有权限时可以 使用(不推荐)
apimachinery¶
https://github.com/kubernetes/apimachineryhttps://github.com/kubernetes/kubernetes/blob/master/staging/src/k8s.io/apimachinery->.
回顾GKV¶
Group
Kind
Version
- Internelversion和Externalversion
- 版本转换
如何定义Group¶
pkg/apis/core/register.go 定义group GroupName 定义groupversion
var SchemeGroupVersion = schema.GroupVersion{Group: GroupName, Version:runtime.APIVersionInternal}
定义SchemeBuildervar (SchemeBuilder = runtime.NewSchemeBuilder(addKnownTypes)AddToScheme = SchemeBuilder.AddToScheme)
将对象加入SchemeBuildfunc addKnownTypes(scheme *runtime.Scheme) error {if err := scheme.AddIgnoredConversionType(&metav1.TypeMeta{}, &metav1.TypeMeta{}); err != nil {return err}scheme.AddKnownTypes(SchemeGroupVersion,&Pod{},&PodList{},}}
定义对象类型 types.go¶
List
单一对象数据结构
- TypeMeta
- ObjectMeta
- Spec
- Status
代码生成Tags¶
GlobalTags
- 定义在doc.go中 ➢ // +k8s:deepcopy-gen=package
LocalTags
- 定义在types.go中的每个对象里 ➢ // +k8s:deepcopy-gen:interfaces=k8s.io/apimachinery/pkg/runtime.Object ➢ // +genclient // +genclient:nonNamespaced // +genclient:noVerbs // +genclient:onlyVerbs=create,delete // +genclient:skipVerbs=get,list,create,update,patch,delete,deleteCollection,watc h // +genclient:method=Create,verb=create,result=k8s.io/apimachinery/pkg/apis/ meta/v1.Status
实现etcd storage¶
pkg/registry/core/configmap/storage/storage.go
funcNewREST(optsGetter generic.RESTOptionsGetter) *REST {store := &genericregistry.Store{NewFunc: func() runtime.Object { return&api.ConfigMap{} },NewListFunc: func() runtime.Object { return&api.ConfigMapList{} },DefaultQualifiedResource: api.Resource("configmaps"),CreateStrategy: configmap.Strategy,UpdateStrategy: configmap.Strategy,DeleteStrategy: configmap.Strategy,TableConvertor: printerstorage.TableConvertor{TableGenerator: printers.NewTableGenerator().With(printersinternal.AddHandlers)},}options := &generic.StoreOptions{RESTOptions: optsGetter}if err := store.CompleteWithOptions(options); err != nil {panic(err) // TODO: Propagate error up}return &REST{store}}
创建和更新对象时的业务逻辑-Strategy¶
func (strategy) PrepareForCreate(ctx context.Context, obj runtime.Object) {_ = obj.(*api.ConfigMap)}func (strategy) Validate(ctx context.Context, obj runtime.Object) field.ErrorList {cfg := obj.(*api.ConfigMap)return validation.ValidateConfigMap(cfg)}func (strategy) PrepareForUpdate(ctx context.Context, newObj, oldObj runtime.Object) {_ = oldObj.(*api.ConfigMap)_ = newObj.(*api.ConfigMap)}
subresource¶
什么是subresource,内嵌在kubernetes对象中,有独立的操作逻辑的属性集合,如podstatus
statusStore.UpdateStrategy = pod.StatusStrategyvar StatusStrategy = podStatusStrategy{Strategy}func (podStatusStrategy) PrepareForUpdate(ctx context.Context, obj, old runtime.Object){newPod := obj.(*api.Pod)oldPod := old.(*api.Pod)newPod.Spec = oldPod.SpecnewPod.DeletionTimestamp = nil// don"t allow the pods/status endpoint to touch owner references since oldkubelets corrupt them in a way// that breaks garbage collectionnewPod.OwnerReferences = oldPod.OwnerReferences}
注册APIGroup¶
定义Storage
configMapStorage := configmapstore.NewREST(restOptionsGetter)restStorageMap := map[string]rest.Storage{"configMaps": configMapStorage,}
定义对象的StorageMap
apiGroupInfo.VersionedResourcesStorageMap["v1"] = restStorageMap
将对象注册至APIServer(挂载handler)if err :=m.GenericAPIServer.InstallLegacyAPIGroup(genericapiserver.DefaultLegacyAPIPrefix,&apiGroupInfo); err != nil {klog.Fatalf("Error in registering group versions: %v", err)}
代码生成¶
deepcopy-gen
- 为对象生成DeepCopy方法,用于创建对象副本 client-gen - 创建Clientset,用于操作对象的CRUD informer-gen - 为对象创建Informer框架,用于监听对象变化 lister-gen - 为对象构建Lister框架,用于为Get和List操作,构建客户端缓存 coversion-gen - 为对象构建Conversion方法,用于内外版本转换以及不同版本号的转换https://github.com/kubernetes/code-generator^83
hack/update-codegen.sh¶
依赖
BUILD_TARGETS=( vendor/k8s.io/code-generator/cmd/client-gen vendor/k8s.io/code-generator/cmd/lister-gen vendor/k8s.io/code-generator/cmd/informer-gen )
生成命令
${GOPATH}/bin/deepcopy-gen --input-dirs{versioned-package-pach}
- O zz_generated.deepcopy\ --bounding-dirs{output-package-path} \ --go-header-file ${SCRIPT_ROOT}/hack/boilerplate.go.txt
APIServer代码走读¶
https://cncamp.notion.site/kube-apiserver-10d5695cbbb14387b60c6d622005583d
关键词:
-
深入理解Kube-APIServer 世界视点
深入理解Kube-APIServer& 182;目录-认证-鉴权-准入MutatingValidatingAdmission-限流-APIServer对象的实现A
来源: -
文心一言 VS chatgpt (21)-- h264编码一帧数据的流程是怎样的?_今日讯
h264编码一帧数据的流程是怎样的? 文心一言:H 264编码将一帧数据分成多个块,其中每个块可以单独进行编
来源: 深入理解Kube-APIServer 世界视点
焦点信息:数据库设计三范式
文心一言 VS chatgpt (21)-- h264编码一帧数据的流程是怎样的?_今日讯
今日热议:盘点被时代淘汰的厨房产物!谁买谁后悔
超迷你的M.2 2230 SSD新品铠侠BG6发布:2TB容量!第6代闪存性能暴增
光追游戏实测 RTX 4060/70/80体验究竟相差多少_全球球精选
丰田霸道变速箱油哪个牌子好_丰田霸道变速箱油灯亮 世界快资讯
Java设计模式-组合模式 天天热推荐
陕西立夏后突然又降雪 游客只穿了短袖冻惨:专家释疑罕见气候
最成功主播!薇娅夫妇半年收获两家上市公司 价值约4.2亿_世界今头条
全球最资讯丨i7-13700K相当于游戏本的哪个U 结果有点意外
provide sth_provide
Go学习圣经:0基础精通GO开发与高并发架构(1)
Stream流体系
美国才是真正的“经济胁迫者”|天天快看
【聚看点】开锁公司上门多少钱海沧(开锁公司上门多少钱)
全球关注:俄罗斯新车销量暴跌 价格却狂涨:丰田凯美瑞卖到130万
杭州将拥有13座高铁站 但离中国第一还差得远
中国首个国际化影视级VP虚拟制片影棚落地上海 全套好莱坞技术_资讯
桌面版RTX 4070与移动版RTX 4080对比实测!谁更强一目了然|环球即时
孙子用爷爷苹果手机充7万手游退款遭拒:几个月就把钱弄没了 焦点播报
AcWing905.区间选点
python调用父类方法的三种方式(super调用和父类名调用)_当前速递
当前快报:06-半加器
tua什么梗_tui 是什么梗简介介绍 世界视点
全行业投入力度最大!京东618大促5月23日预售:百亿补贴买贵双倍赔
亏电不再是条虫!理想L系车型迎大版本更新:高性能模式将上线
天天新资讯:iPhone真的很富士:原相机+自带修图 即得免费富士联名
当前报道:菜场大妈战术性剁排骨 1斤瞬间变2斤:画面让网友们无语了
《塞尔达传说:王国之泪》M站跌至95分!三家媒体给出中评
周一新股提示:美芯晟(688458)上市|全球观察
世界聚焦:VMware虚拟机联网详述
【天天热闻】对话长城汽车总经理:投入近百亿的长城Hi4技术 十年内无对手
狂吃“内存”!微信为何越用越大?看到最后我淡定了_焦点速读
世界球精选!加拿大失控撞轮渡案调查结果出炉 特斯拉没有机械故障
在华销售产品未通过安全审查被叫停采购:美光股价暴跌超6% 天天报资讯
每日视讯:快手上市后首次实现集团整体盈利:Q1净利润4200万元
速讯:中国文化娱乐产业市场发展现状 中国文化娱乐产业投资战略规划研究
记录--九个超级好用的 Javascript 技巧 环球速看料
(笔记)运放电路中并联反馈电容与反馈电阻的工作原理 每日头条
Mybatis基本使用
sed
当前消息!郴州市苏仙区开展2023年农村法治宣传教育月暨民法典宣传月启动仪式活动
环球微速讯:又遇极端天气!桂林2小时下完了1天的大暴雨
资讯:2999元 理想L9、L8官方车顶行李架上新预告:全自研、专车定制
旗舰同款!OPPO Reno10系列搭载动态光影屏:1400nit+120Hz高刷
天天观察:唯一百亿亿次 美国三度蝉联TOP500超算冠军:中国超算不陪着玩了
【全球快播报】强制单踏板“拜拜” 特斯拉新版本软件说明:动能回收可调力度了
今年会出现极端高温吗?专家:预计今夏高温情况比去年弱 每日简讯
细谈使用CodeQL进行反序列化链的挖掘过程
世界观察:react-naive工作原理
债市日报:5月22日
【世界播资讯】水洼煮食物晾衣服生活中还遇到过哪些类似现象?
世界微资讯!安卓跑分要变天了!安兔兔V10公测版正式发布:分数要涨
世界速讯:突破封锁活下来了!华为88个子公司成功实现MetaERP切换:自主可控、全球上线
【报资讯】网易逆水寒手游彩蛋揭秘:日照金山宛如照片 这画质你敢信是手机能跑
搭载原相PAW3395旗舰传感器:雷柏推出VT9S无线鼠标
天天即时:红米平板2曝光:处理器换用骁龙680!主打极致性价比
六年级上册求阴影部分的面积及答案 六年级上册求阴影部分的面积_世界观速讯
分布式任务调度:xxl-job
全球速讯:湖北省荆州市沙市区领导参观考察璞华苏州总部
速读:论elasticsearch在Windows环境的安装
收评:两市窄幅波动沪指涨0.39% 供销社概念股领涨-焦点热议
以军在约旦河西岸打死3名巴勒斯坦人
焦点播报:用上比亚迪刀片电池 新款特斯拉Model Y海外下线:充电超猛
实时:吴刚《后浪》再登热搜:网友吐槽其侮辱中医
AMD Yes还能饭否? RX 7600显卡性能偷跑:差得有点多 要闻速递
神车上新!新款比亚迪宋PLUS DM-i实车现身:装上海豹同款大灯
支付宝App可以换皮肤了!官方教程出炉:免费领
MyBatis-Plus 可视化代码生成器来啦,让你的开发效率大大提速!!
比亚迪选用顶象无感验证,增强售后服务平台安全性
go语言变量定义及类型_焦点快看
【vue流程编辑器框架】Vue-Flowchart-Editor
揭秘百分比图的魅力:数据之美引领决策智慧
退休人员涨工资最新消息2023年 2023养老金上调4.5%是不是真的?
环球热头条丨内蒙古火车站乐手齐奏万马奔腾:旅客拍手叫好
JDG战队FMVP选手knight:生日能拿到冠军特别开心
当前热文:安卓最强性能!vivo X90S下月发布:搭载天玑9200+
今日视点:男子52次跟车式逃停车费2870元 结果惨了
【世界独家】怀柔温馨之家,欢迎你们!
时讯:【Java】引用传递?值传递?
看完这篇,DWS故障修复不再愁-全球热闻
【DSP视频教程】DSP视频教程第12期:TI开源分享IQmath DSP源码,适用于所有Cortex-M内核,本期教程做个手把手移植 (2022-05-22)
最全iOS 上架指南 全球微资讯
焦点滚动:(笔记)运放的带宽、增益带宽积、转换速率、反馈系统等概念理解
直击华尔街|Scott Redler解读华尔街一周:债务上限问题不会导致剧烈动荡 经济若衰退美联储需降息
李楠预测:手机的形态将迎来革命 这下网友有话说了
环球新资讯:清华大学女生获世界小姐选美冠军:谁说学霸就是丑 网友围观真美吗
底层重构 微软Win12最快明年问世:AI魔改搜索体验
使用ssh公钥密钥自动登陆linux服务器 环球快资讯
天天热消息:关于Excel表格中对多个General或者Number数值格式的单元转换为Text文本时-值包含E+的方法处理
世界最新:AI诈骗正在全国爆发!一公司老板10分钟被AI诈骗430万
全球要闻:专治PCIe 5.0发烧 利民SSD散热器到手99.9元(45W强悍散热)
今日关注:国内没人买?东风本田CR-V插混、e:NS1纯电车要卖到海外去了
环球播报:WPS AI再获升级:文档内容、格式规范一键生成
85%肉含量无淀粉 一口爆汁:火山石烤肠19.9元2斤大促
天准科技(688003.SH):机器视觉是一种非常通用的技术
Java使用HttpClient以multipart/form-data向接口上传文件
Seata 的可观测实践
直播源码技术录制功能知识