最新要闻
- 焦点资讯:美国高中地下发现加密货币矿场 7个月耗电费12万元
- 直屏手机为何越来越多了?原因有三个
- 新资讯:近250家公司用ChatGPT取代员工:过半考核优秀 能省10万美元
- 环球滚动:诺基亚60年首次更换Logo后:手机品牌继续沿用经典蓝底Logo
- 环球快报:比老司机还稳!特斯拉主动安全压线避让变道前车:车主惊叹
- 天天头条:三睾拟双身虫
- 世界新动态:八代将军吉宗下载_八代将军吉宗
- 女子驾奇瑞小蚂蚁 高速上油门到底车速为0!4S店:退款退车
- 世界速看:暴雪联合时尚品牌推出《暗黑4》主题女装:这画风太诡异了
- 焦点播报:董明珠:格力员工一人一套房承诺不变
- 个人私生活被恶搞辣眼?董明珠:有些自媒体为了赚钱不择手段 低级下流无聊
- 一文看懂小米无线AR眼镜探索版:自研微手势 隔空就能刷抖音
- 世界看热讯:流氓APP再见!26条新规严管移动应用:不得欺骗误导用户
- Win11 22H2“Moment 2”更新快了:将在未来几周推送
- 每日讯息!男子醉驾被查也不让新手妻子开车:为了不要出现更大的事故
- 【全球新要闻】为迎接中国游客!韩国旅游业也是拼了:推中文菜单、背汉语、招募中文职员
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
环球热头条丨【复盘】搭建日志平台的复盘与思考
- 背景
- 日志规范
- 日志索引设计
- 索引分片设计
- ILM的使用
- 利用日志平台的数据统计
- 总结
背景
20年利用ELK为公司搭建一个日志平台,但由于那时技术和视野有限,遇到的问题感觉还可以有很多好的方式去解决,一直在心里耿耿于怀,所以平时遇到有相关经验的人都会聊一下设计细节,讨论一些解决方案,或者参考一些成熟的系统,思考其优化方向。搭建文档:基于ELK系统,搭建支持TB级别日志平台
(资料图)
日志规范
旧的平台日志采集的格式是极其不规范的,没有封装统一的底层日志SDK。各业务各自控制日志格式,导致所有的系统信息、业务信息全都封装成一个大的json串,有些日志一条能达到4M、5M,这种日志在采集、写es都是比较要命,平台花费很大的算力在json的解析上,由于es默认限制json的key是1000,理论上业务的key有无数个,所以这些日志就不可能展开写ES中。规范的日志上报的key应该是固定个数并且都是非常重要且有意义的,在解析时可以展开存在es中不规范
"trace_id":xxxxxx, "uid":xxxxxx, "ip":xxxxxxx, "ai1":xxxxx, "ai2":xxxxx, "ai3":xxxxx ......}
规范
"trace_id":xxxxxx, "uid":xxxxxx, "ip":xxxxxxx, "msg":"{"ai1":xxxxx,"ai2":xxxxx,""ai3":xxxxx",......}"
这样就可以把系统信息和业务信息区分开来,如果有增加新的需要解析的字段,平台提供新的SDK供业务测升级。这种规范兼容性也很好msg可以是json格式,也可以直接是一行字符串(nginx的access.log),后续的查询也会非常的规范。
日志索引设计
旧平台设计方式是有很多的索引,是以服务为单位每天一个索引
server-1-trace-20230227 server-1的trace日志server-1-info-20230227 server-1的info日志server-1-error-20230227 server-1的error日志
同样在kibana查询时也需要创建很多的索引模式,但是由于我们有上百个服务,这样就会有上百个这样的索引。因为每个索引又有很多的分片,管理这些索引也需要很多的成本。导致的问题:在跨天的时候由于新的索引没有建立,但是有很高的并发写,也就有很多并发创建索引的操作,由于只有master节点可以创建索引,所以这些请求都会转发到master节点导致master的崩溃。旧的解决方式是利用脚本在前一天晚上创建第二天的索引。其实换个思路,我们为什么要设计这么多索引呢?这么多索引又需要创建很多的配套索引模式去查询。我们可以把服务信息、日志类型当作日志的一个字段,查询的时候按照条件进行查询就可以了好的方案,只设计少量索引(或者是按照环境VM、POD)利用 rollover进行设计
索引:xxxx-vm-20230227-00000001 (后面是rollover自动添加){ "app":"server-1", "log_filr":"/var/log/log_trace.log" , "log_type":"trace", "msg":"xxxxx"}{ "app":"server-1", "log_filr":"/var/log/log_info.log" , "log_type":"info", "msg":"xxxxx"}
查询时将app、log_type当作条件进行查询,也不需要创建那么多的索引模式。
索引分片设计
旧平台按照索引分片的算法50g数据/片,所以业务接入的时候要评估业务的数据量,然后给其创建相应的索引模版,分片数也要是节点的倍数,尽量保证其分片的均匀,例如我有20个节点,那我的分片数最好就是20、40、60这样。由于索引数量很多,分片数就有好几千个,每个节点上的分片也有很多。导致的问题:节点之间的负载不均衡,每个节点上分片数大体一致,但是分片的IO请求差别很大,会导致有的节点负载很高,疯狂报警,有些节点几乎没有数据,导致资源浪费。问题的根源还是索引设计不合理导致的,没有利用rollover进行滚动写入。可以设计索引模版使用滚动更新,每个索引固定分配20分片(节点数),每个索引保存20*50G或者一天进行rollover
ILM的使用
索引生命周期管理(index lifecycle management,简称ILM),是ES官方推出的自动管理索引周期的工具集
- Hot:热阶段,索引是活跃的同时支持更新及查询
- Warm:温阶段,索引不支持更新,但可以查询
- Cold:冷阶段,索引不支持更新,但只能少量查询
- Delete:删除阶段,索引可以安全删除由于之前的索引多、分片多导致在迁移过程中整个集群工作特别的繁忙,而且迁移时间很长。如果能合理的设计索引以及分片,利用ILM可以很好的节约成本。可以再使用ES的Force Merge、Freeze、Read-Only对日志进行更精细的管理。
利用日志平台的数据统计
很多公司的前置网关使用的都是nginx,可以采集acces.log日志单独的解析,单独的索引。作为流量入口这部分数据可以反映整体的流量状态,qps计算、各个入口的成功率等。定制nginx的日志,接入grafana就可以组成数据大盘,还可以配置相应的报警。
总结
本文没有包含技术细节,只有设计方面的调整。回头看来,很多过程中发现的问题,利用技术手段解决起来很麻烦的事情,可能一开始就是设计的不合理。但是这方面的能力没法一蹴而就,我希望可以通过一步步的复盘和思考来提高这方面的能力。
-
Android ADB 备忘清单_开发速查表分享
AndroidADB备忘清单ADB,AndroidDebugBridge,包含在Google的AndroidSDK中,可用于从计算机控制您的Andr...
来源: 环球热头条丨【复盘】搭建日志平台的复盘与思考
天天微动态丨sed命令的使用(替换)
环球实时:软件工程阅读笔记
Android ADB 备忘清单_开发速查表分享
焦点资讯:美国高中地下发现加密货币矿场 7个月耗电费12万元
直屏手机为何越来越多了?原因有三个
新资讯:近250家公司用ChatGPT取代员工:过半考核优秀 能省10万美元
环球滚动:诺基亚60年首次更换Logo后:手机品牌继续沿用经典蓝底Logo
环球快报:比老司机还稳!特斯拉主动安全压线避让变道前车:车主惊叹
天天头条:三睾拟双身虫
Prometheus插件安装(mysql_exporter)
消息!河南农信社数字化转型实践方案
今日讯!剑指 Offer 55 - I. 二叉树的深度(java解题)
世界新动态:八代将军吉宗下载_八代将军吉宗
女子驾奇瑞小蚂蚁 高速上油门到底车速为0!4S店:退款退车
世界速看:暴雪联合时尚品牌推出《暗黑4》主题女装:这画风太诡异了
焦点播报:董明珠:格力员工一人一套房承诺不变
个人私生活被恶搞辣眼?董明珠:有些自媒体为了赚钱不择手段 低级下流无聊
一文看懂小米无线AR眼镜探索版:自研微手势 隔空就能刷抖音
数据结构刷题2023.02.27小记
天天即时看!Ubuntu-深度学习环境搭建(yolov3)
焦点滚动:学习swoole之前,你需要知道的几件事
世界看热讯:流氓APP再见!26条新规严管移动应用:不得欺骗误导用户
Win11 22H2“Moment 2”更新快了:将在未来几周推送
每日讯息!男子醉驾被查也不让新手妻子开车:为了不要出现更大的事故
【全球新要闻】为迎接中国游客!韩国旅游业也是拼了:推中文菜单、背汉语、招募中文职员
手一抖被迫看广告!工信部通知:禁止高灵敏度“摇一摇”
当前资讯!宜兴购房补贴本科生可以申请吗?
焦点关注:ChatGPT的隐私安全问题及隐私保护技术
无关风月是什么意思?无关风月我题序等你回是什么歌?
小盆友是什么意思?小盆友生日祝福成语有哪些?
这款MOD可以让《原子之心》双子舞伶露脸:好看吗?
天天播报:中兴发布小方糖路由器:双千兆设计 首发99元
考验信仰、财力的时候到了!丰田加价神车新一代埃尔法曝光
13代酷睿CPU热卖 Intel承诺员工薪酬会涨回来:基本工资100%满血
每日消息!形似比亚迪仰望U8 奇瑞捷途旅行者官图发布:保时捷前总监操刀
电视剧红狐荣乡君是什么人?红狐电视剧演员表介绍
刻在我心底的名字是哪部电影的主题曲?刻在我心底的名字歌词是什么?
win7快速启动栏在哪里?win7快速启动栏怎么使用?
东芝ac100怎样刷系统?东芝ac100安卓笔记本多少钱?
超长待机智能手机有哪些?超长待机智能手机排行榜
三星GALAXY i5700什么时候上市的?三星GALAXY i5700怎么关机?
世界热头条丨谷歌邮箱注册
环球观察:Prometheus插件安装(NodeExporter)
焦点热讯:Redis高频面试题总结
速读:财政部:截至1月末,全国地方政府债务余额357018亿元
聚焦:威马员工在线讨薪 吉利副总裁:我这里缺人、可以考虑下
全球看点:一箱油续航轻松破千公里 五菱凯捷混动铂金版上市:12.98万起
摩托罗拉rizr纵向卷轴屏手机亮相:屏幕可伸长
国内能买到!ZERO SR-X概念电动摩托发布:110马力、能跑300公里
当前关注:送冰极洁面霜:妮维雅男士控油补水洗面奶24.9元大促
天天热推荐:Mysql 自定义目录安装
世界资讯:武汉Java培训班哪家好?大家都要怎么挑选
全球速看:SQL行转列、列转行(SQL Server版)
世界视点!南京Java培训班哪家好,什么样的可选
什么是潮吹
担心的事儿发生了:已有企业在用ChatGPT取代员工
每日热门:iPhone 15 Pro Max与14 Pro Max对比:明显更厚了!妥妥半斤机
纳智捷当街加油 车主现身说法:从郑州到广州加了5次
环球速递!半价大促:五芳斋豆沙青团6枚9.9元发车 清甜绵软
全球最早上映!任天堂《超级马力欧兄弟》大电影内地定档4月5日
世界最新:总结SpringBoot1.x迁移到2.x需要注意的问题
全球短讯!Spring Boot 实现日志链路追踪,无需引入组件,让日志定位更方便!
代理设计模式还不会?2分钟搞定
【世界报资讯】河南省通许县:“中国酸辣粉之都”正式揭牌
天天热门:微信下重拳:上万个群被封杀 此类行为千万别做
环球微头条丨程序员20年喝近2吨可乐屡患结石 几乎天天喝
联想推ThinkPad Z16 Gen 2笔记本:锐龙7000系列 可选4K+屏
双子姐妹、冰箱很带感 《原子之心》游戏已被破解:俄罗斯自己黑客干的
还敢生吃?日本即将核污水倒入大海 降低水产品氚活度分析精度
世界观天下!老外首次用上徕卡影像!小米13/Pro国际版发布:999欧元起
全球看热讯:9岁女演员获柏林电影节最佳主角:史上最年轻获奖者
今日热门!高三女生因百日誓师热血发言表情被网暴 父亲怒回应:我们的骄傲 请尊重
《流浪地球2》导演郭帆让学生们不要用ChatGPT写作业:老师分辨不出来
读Java性能权威指南(第2版)笔记03_ Java SE API技巧中
美国铁路烂到家:“毒列车公司”再次发生脱轨事故 问题没法解决
【世界速看料】昔日手机巨头换新!诺基亚换全新Logo 刷新认识:网友直呼爷青结
每日热议!残损货币及不宜流通货币常识_不宜流通人民币与残损币区别
AMD RX 7900显卡价格在中国崩盘了!两个月暴跌1400元
世界滚动:不完整的爱情
每日动态!怎样提高空间想象能力 如何提高空间想象能力
全球速看:量化交易基础 - 10 - 拟合
全球速读:Kafka简单介绍和安装
当前快讯:委员蒋胜男建议对8小时工作制加强监督:你一天干几小时?
CentOS7安装nvm和node
局域网实现PC、Pad、Android互联
世界速讯:三大范式
项目中并发修改可能存在的问题
环球快资讯:暴力涡轮风扇RTX 4090再次现身:噪音令人崩溃
全球快讯:国产本田E?众泰江南U2纯电轿车正式上市:5.88万起
今亮点!“中国蛇王”凉了?老牌国货隆力奇人去楼空”上热搜 曾连续11年全国销量第一
今日热闻!Java面向对象进阶第四天(常用API)
Codeforces Global Round 15 CF1552 A~G 题解
每日热文:八方点赞!姆巴佩、莫德里奇等多人点赞C罗社媒动态
世界快报:零下50℃室外玩电脑 显卡都冻傻了:核心温度167万摄氏度
【速看料】能用沐浴露洗头吗?可以是可以 但最好别
天天动态:国内首个类ChatGPT模型:复旦大学团队称MOSS将于三月底开源
观速讯丨国产八核CPU!诺基亚发布G22:小白都能自己修
全球快看:解决IDEA无法识别SpringBoot项目
方敏仪