最新要闻
- 天天日报丨《满江红》官方连续发文回应争议扩散:统编教材删除岳飞满江红?从未选编
- 【天天新要闻】国内还有人看吗?漫威超英大片《黑豹2》被偷跑:1080p高清版流出
- 【世界快播报】卖价6.5亿 全球订单超1035架:国产大飞机C919有望3月载客飞行
- 今热点:评分不断下跌 电影《满江红》起诉4位微博大V 复旦教授回应
- 票房超24亿 中国科幻片里程碑!郭帆回应《流浪地球3》:放心了 喜欢接着拍
- 《满江红》票房超29亿!游客排长队打秦桧雕像:大妈亮出鞋底猛抽
- 无人机革命!麻省理工学院开发出超低噪音螺旋桨
- 真着急!中国显卡厂商首次曝光RTX 4060、RTX 4050
- 当前动态:有航司开33万高薪急招空乘:送八险二金、1.5年单身公寓
- 天天新资讯:《熊出没》系列电影累计票房超50亿!观众看《深海》突遇屋顶漏水
- 女子投简历被告知不招豫籍 直呼地域歧视很不公平:网友力挺河南人
- 全球看点:神了!锐龙9 7900X反而比锐龙9 7900便宜 还送32GB内存
- 世界实时:颜值就是正义!联力积木风扇SLV2上架京东:259元一只
- 满分100!老外给《流浪地球2》打分30 情节复杂:网友称文化输出成功
- 高铁超员报警无法行驶 无票乘客下车:网友直呼头回见 12306回应合规
- 离谱!男子竟在高速上与公鸡打架!网友:“被年货打了”
广告
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
k8s~fluentd从kafka到elk
(资料图)
有时为了日志解耦,通常不把日志打到文件,而是直接打到kafka,而为了分析日志,我们可以通过sidecar的方式,把日志从kafka写入到es里,而通过kibana对日志进行分析。
我的k8s-fluentd的相关文章
k8s~部署EFK框架k8s~为服务添加sidecar边斗k8s~fluentd的configmap设置es索引前缀ELK~fluentd多行日志的收集
使用docker的镜像
lypgcs/fluentd-es-kafka:v1.3.2
fluent.conf配置
可以添加configMap,扩展性更好,下面说一下配置的含义名称是fluentd-config,内部文件名是fluent.conf
- brokers 这是kafka的地址
- consumer_group 消费组名称
- format json 表示kafka里存储的是json格式
- start_from_beginning true表示从头消费,false从最新的消息
- topics 表示监控的主题,多个之间用逗号分开
- tag 表示索引名称
- flush_interval 刷新频率
- logstash_format index是否使用logstash命名方式(logstash-%Y.%m.%d),默认不启用
- logstash_prefix:logstash_format启用的时候,index命名前缀是什么。默认为logstash
- include_tag_key true #把tag当做字段写入ES,如果需要自定义tag时,可以添加这项
- tag_key @log_name
@type elasticsearchhost 192.168.60.10port 9200logstash_format trueflush_interval 10slogstash_prefix fluentd-log
k8s编排
apiVersion: apps/v1kind: Deploymentmetadata: name: fluentd-log-deployment namespace: defaultspec: replicas: 1 selector: matchLabels: app: fluentd-log template: metadata: labels: app: fluentd-log spec: hostAliases: - ip: "192.168.10.11" hostnames: ["test11"] containers: - name: fluentd-log-controller image: lypgcs/fluentd-es-kafka:v1.3.2 volumeMounts: - name: config-volume mountPath: /etc/fluent volumes: - name: config-volume configMap: name: kafka-fluentd #滚动升级策略 strategy: type: RollingUpdate rollingUpdate: maxSurge: 1 maxUnavailable: 0
基于fluentd风格的按日期为索引的命名
最后在kibana里的格式化后的数据
k8s~fluentd从kafka到elk
天天日报丨《满江红》官方连续发文回应争议扩散:统编教材删除岳飞满江红?从未选编
【天天新要闻】国内还有人看吗?漫威超英大片《黑豹2》被偷跑:1080p高清版流出
【世界快播报】卖价6.5亿 全球订单超1035架:国产大飞机C919有望3月载客飞行
今热点:评分不断下跌 电影《满江红》起诉4位微博大V 复旦教授回应
票房超24亿 中国科幻片里程碑!郭帆回应《流浪地球3》:放心了 喜欢接着拍
世界信息:博客主题 Lite
《满江红》票房超29亿!游客排长队打秦桧雕像:大妈亮出鞋底猛抽
无人机革命!麻省理工学院开发出超低噪音螺旋桨
【全球时快讯】node借助jsonwebtoken生成token以及验证token是否过期
真着急!中国显卡厂商首次曝光RTX 4060、RTX 4050
当前动态:有航司开33万高薪急招空乘:送八险二金、1.5年单身公寓
天天新资讯:《熊出没》系列电影累计票房超50亿!观众看《深海》突遇屋顶漏水
当前资讯!MySQL笔记01: MySQL入门_1.3 MySQL启动停止与登录
环球即时:手把手教你搭建mongodb分片集群
女子投简历被告知不招豫籍 直呼地域歧视很不公平:网友力挺河南人
全球看点:神了!锐龙9 7900X反而比锐龙9 7900便宜 还送32GB内存
环球新动态:【算法训练营day28】LeetCode93. 复原IP地址 LeetCode78. 子集 LeetCode90. 子集II
环球新动态:C# 闭包类对弱引用的坑
天天新资讯:DC-9
世界实时:颜值就是正义!联力积木风扇SLV2上架京东:259元一只
天天微资讯!Collection常用方法【汇总】
满分100!老外给《流浪地球2》打分30 情节复杂:网友称文化输出成功
高铁超员报警无法行驶 无票乘客下车:网友直呼头回见 12306回应合规
离谱!男子竟在高速上与公鸡打架!网友:“被年货打了”
天天实时:谷歌裁员1.2万人当天 幸存员工崩溃哭泣:有员工直呼跟永不作恶告别
世界快看:推荐这5个很牛的开源项目,程序员直呼内行
天天视点!IM通讯协议专题学习(八):金蝶随手记团队的Protobuf应用实践(原理篇)
世界热门:VS Code保存后自动格式化Vue代码
世界讯息:日系车再受质疑 因发动机缺陷:日产召回超52万辆汽车
世界速看:(笔记)运算放大器经典应用电路及工作原理
【网关开发】6.lua绑定委托(delegate)实现多播调用
【环球新视野】3女生拎3斤米酒进站被拦一饮而尽!网友:王宝强听了都头疼
天天短讯!比亚迪海豚上演高速路“全自动驾驶” 车主躺后排睡觉
每日视点!击败《流浪地球2》!《满江红》成票房冠军:张艺谋大儿子出演 游客排长队打秦桧雕像免票逛岳飞庙
自建“出海舰队” 比亚迪花了50亿元买的船:长这模样
日本原装进口!雀巢黑咖啡大促:6毛8能泡一杯
当前通讯!看个小说竟然像在照镜子!
数据库容灾等级
后端跨域问题导致java.io.IOException: UT010029: Stream is closed解决办法
当前焦点!夏普发布新款PV800UL激光投影仪:亮度高达8000ANSI流明
观点:还买啥车!美国人车贷都还不起了 拖欠率比金融危机峰值还高
中国反击!新增7项先进科技禁止/限制出口 合计达139项
MySQL索引底层探究
热头条丨感受 Vue3 的魔法力量
每日短讯:真刺鸡战场!西安一景区设免费抓鸡活动:人鸡比例10:1
AMD YES!来自小厂的迷你主机 把友商按在地上摩擦
世界看点:你敢坐吗?日产汽车联手日立:通过电动汽车为电梯临时供电
湖南以前叫什么名字?湖南旅游十大必去景区
南菱嫣盛霆旭是什么小说?2023年言情小说推荐
创造营2019全部成员有哪些?创造营2019出道成员
雪见是哪个电视剧的人物?雪见是哪个演员扮演的角色?
不要抛下绮绮是什么意思?王者荣耀流行梗有哪些?
大金空调是哪个国家的品牌?大金空调不制热怎么回事?
环球快消息!【如何提高IT运维效率】深度解读京东云基于NLP的运维日志异常检测AIOps落地实践
环球实时:别再写狗屎代码了,推荐这 5 款 IDEA 插件,让你的代码质量直接起飞!
将实体光盘制作成光盘映像iso文件
输入法切换不了是什么原因?输入法切换不了怎么解决?
小米6x什么时候发布的?小米6x详细参数
qq游戏大厅在哪里打开?qq游戏大厅怎么多开?
注册表编辑器是干什么的?注册表编辑器怎么恢复默认设置?
【当前热闻】《流浪地球2》周边众筹已超4500万!最初目标仅仅10万
中国“宁王”成功出海 宁德时代首座海外工厂投产
全球头条:springboot~logback按level添加不同的颜色
春节假期有车走应急车道 视频车拍照举报还得数百元红包奖励
环球百事通!最勤劳“小兔子”行驶1500米、数据940GB!玉兔二号传回新玉照
当前热讯:中国玩家的电子阳痿:被日本“老中医”彻底治好了
聚焦:读Java8函数式编程笔记03_高级集合类和收集器
【天天快播报】男子与女友吵完架开车2分钟扣22分 逆行、闯红灯等:网友看完害怕
最新:男子春节逆向旅游深圳承包整片沙滩:通过房价得出判断
中国春节档电影市场重焕活力:总票房破67亿 列历史第2
头条焦点:AX9000安装使用Docker
天天看点:理想L9高速“失灵” 追尾“自杀式并线”车引争议:车主自找的?
车企年度销量目标完成率:比亚迪一枝独秀 长城、长安惨不忍睹
今日热议:唯一/普通索引的选择?change buffer
焦点消息!AMD RX 400/500老显卡尴尬不能跑新游戏:同时代N卡却没问题
当前视点!暗物质:宇宙中最神秘的物质之一 已经逼疯科学家了
环球观天下!RabbitMQ介绍
图省钱去开电动汽车:在美国根本不存在
天天快资讯丨玩法BT!真人版《鱿鱼游戏》出意外:多人受伤
世界速看:MQ的相关概念
Python字符串
当前关注:女子过年练车坠河:一家3人不幸遇难 还是大学生
环球快播:学习笔记——安卓的下载路径;创建一个空的安卓project;Android中的日志工具划分
滚动:史上最好Windows系统!微软要对Win11首个正式版强制升级22H2了
【全球报资讯】马斯克称中国竞争对手最努力最聪明:最有可能仅次于特斯拉
每日快讯!Cybertruck又跳票了!特斯拉首款电动皮卡量产要等到2024年
2022手机战事骁龙精彩收官:新的好戏要开场了!
全球微头条丨Codeforces Round #601 (Div. 2) A-E
世界快报:敏感肌适用 露得清氨基酸洗面奶19.9元白菜价:3.3折狂促
全球要闻:POJ 1185 炮兵阵地
每日动态![概率论与数理统计]笔记:4.3 常用的统计分布
通讯!刘德华吴京《流浪地球2》电影里重回20岁 吴京:没有被年轻俊美吓到吧
【天天新要闻】2G/3G退网 怎就这么难
【环球速看料】[NOIP2016提高组] 愤怒的小鸟
焦点速看:33.98万元起买吗?理想L7内部空间图公布:感受一下到底有多能装
男子花20多万三亚度假遭遇节约型爸妈 网友热议:过度节约才是更大浪费
全球热点!操作系统的概念、功能和目标
今日热讯:阿里回应将在新加坡建“第一高楼”当全球总部:出生在杭州 生长在杭州 发展在杭州
中国团队开发液体机器人成功越狱:复刻《终结者2》T-1000名场面