最新要闻
- 天天热点评!多彩中亚 丝路新篇丨现代化的设备、丰富的教学资源……师生“点赞”中亚首家鲁班工坊
- 环球简讯:外观、内饰全面革新!全新别克君越正式上市:17.99万起
- 焦点快播:TP-Link双旗舰Wi-Fi 7路由开卖:覆盖面积/网速秒杀Wi-Fi 6E
- 这就是满分水冷了!鑫谷昆仑II 360 ARGB评测:超高颜值还能给主板降温9度_全球热点评
- 32岁女生相亲角因条件高被男子怼哭:本人是短视频网红 回应称不是剧本
- 小摩增持长城汽车(02333)约714.44万股 每股作价约9.93港元
- “AI歌手”走红网络!谁侵了谁的权?专家解读
- 比亚迪汉KTV麦克风串频 后车竟然能听到前车人说话
- “完全免费”的电视机见过么?专门分出一块屏幕放广告
- 当事妈妈回应儿子送花被骂:家里困难 深感后悔
- 川味红烧肚条莴笋的做法?
- 央行:有效防范化解优质头部房企风险,改善资产负债状况
- 李国庆谈京东徐雷退休:早有预料 他跟刘强东有分歧
- 焦点!又一造车新势力开通法务部官号:零跑汽车晒出起诉通知书索赔50万
- 【环球新要闻】140元一个!五月天荧光棒官旗回应涨价:新款有云端互动功能
- 几乎腰斩!NVIDIA、AMD显卡中国大降价:老外羡慕不已
广告
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
【环球热闻】kafka 磁盘迁移
(资料图)
磁盘迁移
背景介绍:Kafka搭建时,配置的磁盘过大,成本过高,所以需要迁移到小容量磁盘
原kakfa配置:
- log.dirs=/data1/kafka/var/kafka-logs/1,/data2/kafka/var/kafka-logs/1
(kafka磁盘可以支持多磁盘配置,提高吞吐量)
- log.retention.hours=168
修改后的kafka配置:
- log.dirs=/data3/kafka-logs,/data4/kafka-logs
- log.retention.hours=72
1.修改topic存储时间
适量减少topic存储时间,可以加快迁移节奏,如果本身日志量不大,不超过100G,则没必要执行此步骤
并且可以预估出调整后的磁盘占用大小
# 这种属于临时配置,不需要重启kafka,此修改会提交到zk中,kakfa会优先读取zk中的配置# retention.ms=21600000 表示此设置topic 数据保存的时间,单位:毫秒,21600000 = 1000*60*60*6 = 6 小时# 线上可以提前写好 sh脚本,批量处理topicsh /home/hadoop/kafka_2.11-0.9.0.1/bin/kafka-configs.sh --zookeeper {zk配置地址} --alter --add-config "retention.ms=21600000" --entity-type topics --entity-name {topic_name}
观察
kafkaServer.out
日志,正常broker
每5分钟触发一次删除任务,等看到日志中出现...delete...
日志,并且观察磁盘文件大小,已经变成预估空间大小,则说明已经删除完成
2.停止kafka服务
./bin/kafka-server-stop.sh stop
观察日志,出现 shutdown complete
字样的日志时,并且使用 jps -m
命令,找不到kafka的进程之后,表示停止完成
3.执行数据拷贝
mkdir -p /data3/kafka-logsmkdir -p /data4/kafka-logsmkdir -p /home/hadoop/kafka_2.11-0.9.0.1/logs# 注意使用异步拷贝,防止当前shell窗口过期nohup cp -r /data1/kafka/var/kafka-logs/1/* /data3/kafka-logs/ &nohup cp -r /data2/kafka/var/kafka-logs/1/* /data4/kafka-logs/ 后续可以使用此命令,查看是否拷贝完成ps -ef | grep kafka-logsdf -h
当观察到 新旧磁盘空间大小一致,且 ps -ef | grep kafka-logs
没有进程之后,说明拷贝完成
# 拷贝完成后,修改原目录名称mv /data1/kafka /data1/kafka_bakmv /data2/kafka /data2/kafka_bak
4.修改配置
# 修改kafka 配置文件vim /home/hadoop/kafka_2.11-0.9.0.1/config/server.properties# 找到下面配置,并更改log.dirs=/data3/kafka-logs,/data4/kafka-logslog.retention.hours=72# 修改gc日志配置,默认的会一直打印gc日志vim /home/hadoop/kafka_2.11-0.9.0.1/bin/kafka-run-class.sh# 找到下面配置,并更改KAFKA_GC_LOG_OPTS=" "
5.启动kafka服务
./bin/kafka-server-start.sh -daemon config/server.properties# 观察日志:查看到启动完成,并且 集群中没有未同步副本时,说明此kafka已经完全启动tail -f ./logs/kafkaServer.out# 观察旧的磁盘目录下,没有新文件产生,说明迁移成功ls -lrth /data1ls -lrth /data2
6.恢复topic存储时间
千万不要忘了这一步。。。同样写脚本,处理所有topic
sh ./bin/kafka-configs.sh --zookeeper {zk配置地址} --alter --delete-config "retention.ms" --entity-type topics --entity-name {topic_name}
备注:
- 为什么要拷贝磁盘文件,而不是直接修改配置,重启kafka?
- 如果新的broker启动,加入集群,需要同步topic的数据;同步过程中,会占满带宽或磁盘IO,如果数据量过大,同步时间过长,会造成kakfa长时间不可用,线上数据淤积,影响业务
- kakfa会在数据磁盘下生成:
recovery-point-offset-checkpoint
,replication-offset-checkpoint
这俩文件,会记录当前磁盘下topic数据存储offset信息,拷贝过去之后会根据这俩文件同步数据,不会造成数据错乱问题 - 所以拷贝磁盘数据在数据量较大时,会是较优的方案
关键词:
-
天天热点评!多彩中亚 丝路新篇丨现代化的设备、丰富的教学资源……师生“点赞”中亚首家鲁班工坊
2022年11月开始运营的塔吉克斯坦鲁班工坊,是中亚地区的第一家鲁班工坊,为当地乃至中亚地区培养高水平技术
来源: 【环球热闻】kafka 磁盘迁移
天天热点评!多彩中亚 丝路新篇丨现代化的设备、丰富的教学资源……师生“点赞”中亚首家鲁班工坊
环球简讯:外观、内饰全面革新!全新别克君越正式上市:17.99万起
焦点快播:TP-Link双旗舰Wi-Fi 7路由开卖:覆盖面积/网速秒杀Wi-Fi 6E
这就是满分水冷了!鑫谷昆仑II 360 ARGB评测:超高颜值还能给主板降温9度_全球热点评
32岁女生相亲角因条件高被男子怼哭:本人是短视频网红 回应称不是剧本
小摩增持长城汽车(02333)约714.44万股 每股作价约9.93港元
3.OS-Virtualization|进程API 天天日报
全球最资讯丨拜登就与共和党人谈妥债务上限表达乐观
“AI歌手”走红网络!谁侵了谁的权?专家解读
比亚迪汉KTV麦克风串频 后车竟然能听到前车人说话
“完全免费”的电视机见过么?专门分出一块屏幕放广告
当事妈妈回应儿子送花被骂:家里困难 深感后悔
川味红烧肚条莴笋的做法?
天天微速讯:Java设计模式-桥接模式
全球快资讯丨Java并发(五)----线程常见方法总结
中银香港完成首批多笔北向互换通交易
前沿热点:货币市场日报:5月15日
央行:有效防范化解优质头部房企风险,改善资产负债状况
李国庆谈京东徐雷退休:早有预料 他跟刘强东有分歧
焦点!又一造车新势力开通法务部官号:零跑汽车晒出起诉通知书索赔50万
【环球新要闻】140元一个!五月天荧光棒官旗回应涨价:新款有云端互动功能
几乎腰斩!NVIDIA、AMD显卡中国大降价:老外羡慕不已
当前滚动:郝劭文晒婚礼现场照 释小龙任伴郎:勾起网友童年回忆
前乔治亚州球员赢得 2022 年 NFL 年度最佳防守新秀的几率-环球观点
2999元起 九号Segway储能电源公测招募:支持2200W大功率输出 当前资讯
“轻功”真的存在:男子一次飞越10个凳子 还会蜻蜓点水 环球热文
《仙剑世界》将引入GPT:中手游宣布与微软达成合作
环球今亮点!《塞尔达传说:王国之泪》锯齿严重 最好用小屏幕玩
阿里达摩院自动驾驶实验室并入菜鸟:约70%员工被裁
苹果的Reality Pro耳机可能会遇到生产障碍_世界观天下
快看:TransE模型(tensorflow框架)
【世界新要闻】记录--css水滴登录界面
原来如此!如何去开发一款直播软件app平台?直播源码技术直播互动篇 环球最新
升鲜宝_生鲜配送供应链系统_杭州生鲜配送系统之升鲜宝-车辆管理系统设计思路与功能展现(一) 每日热讯
热点评!中国玩具批发市场哪里最便宜
环球热头条丨对盈利很重要!法拉第未来任命新财务高管:曾就职福特、蔚来
618主机、显示器、CPU便宜了 微星1元抢好礼:幸运玩家可免单
任意地点、任意空间随处可控!华为全屋智能4.0带来业内首款空间穿越屏
苹果换打法了!iPhone 15/15 Plus影像没挤牙膏 天天新视野
安卓14带来全新Ultra HDR照片格式 细节惊人!骁龙同步首发
胃炎吃什么食物好-全球消息
作业二:读书笔记-简讯
Python工具箱系列(三十二)
Linux-LVM的介绍、创建、删除-世界微动态
世界头条:AI低代码,或将再次颠覆开发行业
axios CancelToken 实现对特定请求的拦截,不要所有请求都进行相同的拦截
环球观察:【新华财经调查】碳酸锂拍卖“试探”市场预期 价格何时回归理性?
今热点:【金融街发布】外汇局:4月银行结汇1869亿美元 售汇1815亿美元
万达信息:公司DIP项目不涉及数字人民币支付
焦点速看:男子和路过小朋友对暗号唱挖呀挖:没想到小朋友齐声对唱
世界热头条丨男子10万块买8套房 鹤壁房子1000元一套?官方回应
焦点要闻:全自动空中列车!数万名人已乘坐比亚迪大王山云巴
《王者荣耀》女装定价超千元 网友:不如去抢-环球今头条
世界播报:18片双环扇叶:先锋电风扇69元起官方大促抄底(170元券)
古润金被警方拘留 古润金_全球快播
【jmeter】win10部署jmeter分布式 全球最资讯
最新快讯!针对基于智能卡进行认证的活动目录攻击
Lua 备忘清单_开发速查表分享
vue 基于原生动画的自动滚动表格
【BSP视频教程】BSP视频教程第26期:CAN/CANFD/CANopen专题,CANFD整个运行机制精讲,图文并茂,配合综合实战演练(2023-05-15)
全球新消息丨上交所将召开沪市金融业专题座谈会 讨论促进金融业估值提升
【世界时快讯】收评:沪指午后逆转涨1.17%收复3300点 新能源赛道股大涨
尚纬股份: 截至3月31日,公司股东总数约为2.4万户-焦点热讯
威联通NAS新品TS-466C发布:影音转码升级 插上HDMI线就能看片
4年前的GTX 1650荣光犹在!Steam硬件占有率第一
安卓亲儿子又翻车 谷歌Pixel 6系列手机耗电bug:续航崩了
RTX 3060 Ti即将停产:疯狂杀价700元!赔本清库存|快看点
“永生”干细胞培养肉问世:有望实现人造肉无限量供应
长江上的“移动垃圾站” 环球聚焦
全球热点评!问鼎CodeXGLUE榜单,华为云UniXcoder-VESO-v1算法取得突破
天天热点评!湖北省智能科教研究会走进璞华,调研璞公英教学平台个性化教学新模式
环球观速讯丨光正眼科(002524.SZ):眼科板块前四个月预算完成率100%以上,年度经营目标有望实现
广告太多引众怒:微软被迫删除Win11天气部分推广 焦点快报
顾客买肉饼咬下去发现全是活虫:商家赔了10块钱_世界动态
Win10成绝唱!微软开始催更:给用户狂弹窗 快点升级Windows 11
全球今日报丨看齐Ultra!小米14 Pro曝光:长焦影像大升级
一盒尝鲜也包邮!春光一口鲜气0糖椰汁大促:券后每瓶9块9
Linux-RAID类型介绍、创建、彻底删除_天天快报
在ASP.NET Core中轻松使用JwtBeare进行身份验证
Golang基础教程
Mongodb 以及 node.js中使用mongoose操作数据库
每日看点!MYSQL数据库之事务隔离级别详解
损失条款
不喜欢别看!网飞黑人《埃及艳后》史诗级翻车 差评多到不忍直视
年度大改款!联发科下一代旗舰命名确认:天玑9300_焦点热门
骨灰级程序员 20多年经验IT大牛左耳朵耗子陈皓突发心梗去世 享年47岁-世界简讯
特斯拉中国召回110万辆:是真心 还是假意?
今热点:硬挑苹果!华为赚麻:增加万元折叠新机Mate X3订单 出货量或将翻倍
世界热文:白酒板块午盘走弱 贵州茅台股价下滑0.22%
接单日记(四)验证码图片生成|全球今头条
日系“药丸”?日产发布2022财年业绩:收益远超预期|热推荐
环球头条:卢伟冰揭秘Redmi Book 14:4000元档四大升级 厂商良心所在
地铁咋调头 有司机吗?看完本文你比地铁司机还懂
亚洲或将面临超级高温“烤”验:多国已破40℃ 厄尔尼诺现象要来了-环球热文
联想拯救者Y9000P冰魄白游戏本开卖 24核i9+RTX 4070仅售12499元 当前头条
俄媒:一天之内数架俄军机在俄乌边境坠毁 即时
Stimulsoft Report/Group Report报表类型简单实现|每日头条
系统错误:找不到mvcp120d.dll,无法继续执行代码
天天快播:ntp时钟服务器(ntp授时服务器)技术参数一览表