最新要闻
- 每日焦点!生态河湖 诗画江城
- 2.4万元!苹果首款MR头显Vision Pro发布:单眼像素超越4K电视
- 真颠覆XR!苹果Vision Pro技术、体验几乎完美 但是一根线毁所有|世界快报
- 苹果Mac三大新品国行价格汇总:巅峰顶配9.7万元-环球速看
- 8450米的珠峰上舍命救人 女子承诺1万美元只肯给4000美元:贵吗?
- 1100万年后 决定性别的Y染色体将消失:人类会怎么样?
- 旅游景区清洁工人工作情况影像记录带定位时间时间水印相机
- 全球动态:父母去世了,为子女买的保险能用遗产续费吗?
- 天天讯息:高中教材选修和必修有什么区别_高中必修是什么意思 选修呢
- 油毡纸多少钱一卷(油毡纸) 环球播资讯
- 当前短讯!不负如来不负卿txt下载完整版_不负如来不负卿txt下载
- UFOU首获投资,升降桌售价上万元有人望而却步,孟振亮曾连续创业
- 每日短讯:管理能力有哪些方面_能力有哪些方面
- 阿里云宣布举办首届AI黑客马拉松挑战赛 最终获胜团队将获得3万奖金
- 现实题材电影《八角笼中》发布一“骗”真心版预告 由王宝强与肖央主演
- 人造电子皮肤首次亮相 每层主干均为长分子链组成
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
基于 log4j2 插件实现统一日志脱敏,性能远超正则替换-焦点信息
前言
金融用户敏感数据如何优雅地实现脱敏?
(资料图片)
日志脱敏之后,无法根据信息快速定位怎么办?
经过了这两篇文章之后,我们对日志脱敏应该有了一定的理解。
但是实际项目中,我们遇到的情况往往更加复杂:
1)项目的 java bean 定义不规范,大量接口使用 map。
2)历史项目众多,改造成本巨大。
种种原因,导致使用注解的方式耗费大量的时间。但是一般给我们改造的时间是有限的。
那么,有没有一种方法可以统一对敏感信息进行脱敏处理呢?
答案是有的,我们可以基于 log4j2 实现自己的脱敏策略,统一实现日志的脱敏。
log4j2 Rewrite
我们可以基于 log4j2 RewritePolicy 统一使用脱敏策略。
本项目自 V1.2.0 添加对应支持,后续将提升对应的可拓展性。
说明:如果使用 slf4j 接口,实现为 log4j2 时也是支持的。
使用入门
maven 引入
引入核心脱敏包。
com.github.houbb sensitive-log4j2 1.2.1
其他的一般项目中也有,如 log4j2 包:
org.apache.logging.log4j log4j-api ${log4j2.version} org.apache.logging.log4j log4j-core ${log4j2.version}
log4j2.xml 配置
例子如下:
几个步骤:
指定 package 为
packages = "com.github.houbb.sensitive.log4j2.rewrite"
按照 log4j2 Rewrite 规范,指定重写策略为
SensitiveRewritePolicy
输出时,直接指定为对应的重写之后的结果
测试
正常的日志打印:
private static final String TEST_LOG = "mobile:13088887777; bankCard:6217004470007335024, email:mahuateng@qq.com, amount:123.00, " + "IdNo:340110199801016666, name1:李明, name2:李晓明, name3:李泽明天, name4:山东小栗旬" + ", birthday:20220517, GPS:120.882222, IPV4:127.0.0.1, address:中国上海市徐汇区888号;";logger.info(TEST_LOG);
自动脱敏效果如下:
mobile:130****7777|9FC4D36D63D2B6DC5AE1297544FBC5A2; bankCard:6217***********5024|444F49289B30944AB8C6C856AEA21180, email:mahu*****@qq.com|897915594C94D981BA86C9E83ADD449C, amount:123.00, IdNo:3****************6|F9F05E4ABB3591FC8EA481E8DE1FA4D6, name1:李*|15095D14367F7F02655030D498A4BA03, name2:李**|035E3C0D1A0410367FE6EB8335B2BFDE, name3:李泽**|B87138E5E80AEC87D2581A25CAA3809D, name4:山东***|6F2178D34BC7DD0A07936B5AFF39A16F, birthday:********|1F88D983FAFC50022651122B42F084A0, GPS:**********|E281A9A52DE915154285148D68872CA2, IPV4:127******|F528764D624DB129B32C21FBCA0CB8D6, address:中国上海市徐******|821A601949B1BD18DCBAAE27F2E27147;
ps: 这里是为了演示各种效果,实际默认对应为 1,2,3,4 这几种策略。
log4j2 配置定制化
为了满足各种用户的场景,在 V1.2.1 引入了 SensitiveRewritePolicy 策略的可配置化。
默认配置
log4j2 配置中,SensitiveRewritePolicy
配置默认等价于
属性说明
SensitiveRewritePolicy 策略的属性说明。
属性 | 说明 | 默认值 | 备注 |
---|---|---|---|
prefix | 需要脱敏信息的匹配前缀 | :="" | 降低误判率 |
replaceHash | 哈希策略模式 | md5 | 支持 md5/none 两种模式 |
scanList | 敏感扫描策略列表 | 1,2,3,4 | 1~10 内置的10种敏感信息扫描策略,多个用逗号隔开 |
replaceList | 敏感替换策略列表 | 1,2,3,4 | 1~10 内置的10种敏感信息替换策略,多个用逗号隔开 |
defaultReplace | 敏感替换默认策略 | 12 | 1~13 内置的13种敏感信息替换策略,指定一个。当列表没有匹配时,默认使用这个 |
其中 1-13 的内置策略说明如下:
策略标识 | 说明 |
---|---|
1 | 手机号 |
2 | 身份证 |
3 | 银行卡 |
4 | 邮箱 |
5 | 中国人名 |
6 | 出生日期 |
7 | GPS |
8 | IPV4 |
9 | 地址 |
10 | 护照 |
11 | 匹配任意不掩盖 |
12 | 匹配任意半掩盖 |
13 | 匹配任意全掩盖 |
不足之处
这里的策略自定义和 log4j2 的插件化比起来,确实算不上强大,但是可以满足 99% 的脱敏场景。
后续有时间考虑类似 log4j2 的 plugins 思想,实现更加灵活的自定义策略。
性能
正则的替换可能会导致 cpu 飙升等问题,替换的策略也有限制。
实现的底层不是基于正则的,性能要远高于正则,大概是 2 倍左右,符合企业级应用性能。
后续将添加对应的 benchmark。
开源地址
为了便于大家学习,项目已开源
https://github.com/houbb/sensitive
小结
实际项目中,建议二者结合使用。
基于 log4j2 的方式统一处理非常方便,但是是性能和准确性要有一定的折中。
如果是新项目,建议使用注解的方式,通过日志标准规范开发,后续拓展性也更加灵活。
关键词:
基于 log4j2 插件实现统一日志脱敏,性能远超正则替换-焦点信息
焦点观察:MRST绘制三维网格图
每日焦点!生态河湖 诗画江城
2.4万元!苹果首款MR头显Vision Pro发布:单眼像素超越4K电视
真颠覆XR!苹果Vision Pro技术、体验几乎完美 但是一根线毁所有|世界快报
苹果Mac三大新品国行价格汇总:巅峰顶配9.7万元-环球速看
8450米的珠峰上舍命救人 女子承诺1万美元只肯给4000美元:贵吗?
1100万年后 决定性别的Y染色体将消失:人类会怎么样?
旅游景区清洁工人工作情况影像记录带定位时间时间水印相机
全球动态:父母去世了,为子女买的保险能用遗产续费吗?
天天讯息:高中教材选修和必修有什么区别_高中必修是什么意思 选修呢
油毡纸多少钱一卷(油毡纸) 环球播资讯
当前短讯!不负如来不负卿txt下载完整版_不负如来不负卿txt下载
UFOU首获投资,升降桌售价上万元有人望而却步,孟振亮曾连续创业
每日短讯:管理能力有哪些方面_能力有哪些方面
阿里云宣布举办首届AI黑客马拉松挑战赛 最终获胜团队将获得3万奖金
现实题材电影《八角笼中》发布一“骗”真心版预告 由王宝强与肖央主演
人造电子皮肤首次亮相 每层主干均为长分子链组成
美国一男子连吃100天麦当劳后减重53斤 网友困惑垃圾食品是否需重新定义
巴奴火锅反向推出“天价土豆”套餐 套餐几乎囊括巴奴所有热门菜品
日本地下偶像女子团体成员灌男粉丝喝洗洁精 看其吐泡泡后捧腹大笑
在线访问量直线飙升 OpenAI已跻身全球20家流量最高网站榜单
2023年夏日游戏节发布预热宣传片 将于6月9日进行直播
比亚迪上调部分车型的保养费 幅度达到50%左右
清华大学成立秀钟书院:今年开始招生 目标宏大_当前热文
语音系统用上全自研算法!李想:95%以上控制张嘴就能搞定-天天亮点
浙江大学学生被录用为“场务及驱鸟员” 网友惊呼太卷了
创美药业(02289)将于7月31日派发末期股息每股0.45元
hackthebox sniper medium
致乘风破浪的青春|胡千行:求是创新,多维发展-消息
网上出现假冒北京市人社局的网站!官方发布风险提示_头条焦点
警惕!身上有这7个特征的人 容易得肺癌
男子嘴贴保鲜膜忍不住亲亲宝宝引热议 医生科普:被老人、家人亲吻会遭殃
太卷了!浙大学霸应聘机场驱鸟员:要求英语四级425分 环球微头条
文心一言 VS 讯飞星火 VS chatgpt (32)-- 算法导论5.2 4题_全球看点
环球微动态丨【解决方法】网络设备使用CLI命令行模式进入Telnet登录,如交换机,路由器
厦门大学有哪些专业 厦门大学专业排名
天天热头条丨信泰航空拟对全资子公司信泰克增资1000万
5月国内汽车召回数量排名:美系特斯拉遥遥领先 全球滚动
珠峰为救遇险女子放弃登顶当事人发声:停止网暴_环球视讯
OpenAI跻身全球前20大网站:月活用户近9亿
购物追剧两不误!腾讯视频会员年卡+京东PLUS年卡降价:到手138元
排海计划坚持不变!福岛核电站鱼体放射性物质超标180倍 环球头条
当前动态:2023年南疆冬小麦成熟期及复播玉米播种期预报金十期货6月5日讯,根据目前南疆冬小麦发育进程和6月天气气候趋势预测,预计2023年南疆冬小麦成熟期大部
全国一体化算力算网调度平台正式发布
比iPhone 14更薄的机身塞进4600mAh!vivo S17本周开卖:2499起
AMD闪电发起价格战!RTX 4060 Ti这下太难过了 环球报道
每日精选:NVIDIA黄仁勋已返回美国 此前被传本周前往上海
Midjourney最强平替来了!广告大片分分钟直出:网友直呼太逼真
上千块的吹风机到底是不是智商税?看完秒懂
消息!2023年618淘宝好价节官方立减规则是什么?是否计入最低价?
React学习时,自己拟定的一则小案例(table表格组件,含编辑)
投资者权衡美联储利率政策 美债收益率周一全线走高
Intel Arc独立显卡第一次上水冷!这是何必呢?_环球速看料
上千师生操场烧烤缓解考前压力 老师:学校自费 图个好寓意 环球时讯
损失过亿!唯品会崩溃遭P0级故障:负责人被免职
国产显卡第一家!摩尔线程支持DX11:这下稳了
Edge独占结束!微软确认BingChat将向第三方浏览器推出
知乎,在短故事赛道跑出一个爆款
今日快看!Python第三方库批量下载到本地,并离线批量安装第三方库
AI版女网红“半藏森林”上线,服务项目让人意想不到 世界热门
全球观天下!在win2016服务器上安装Loadrunner 11版本
商品日报(6月5日):商品市场走势分化 原油系领涨金属全线回落
iPhone 15系列将于本月在郑州富士康量产:备货量巨大
特斯拉车主高速违停飞无人机:风景太美忍不住|全球观速讯
腾讯天美联合开发:育碧中国背景《刺客信条》新图公布
环球头条:iPhone 15将全系采用三星M12屏幕:Pro版依然独享ProMotion动态高刷
高人一等!男子开路虎插队洗车 我就猖狂了:嚣张到网友狂吐槽
最美贵州在等你_对于最美贵州在等你简单介绍|世界动态
东铁线是火车还是地铁(东铁线)
API NEWS | Money Lover爆出潜在API漏洞_世界速看
探究GIS地图在城市规划、环境管理和农业领域的应用
【全球速看料】druid活跃线程数量持续增长问题
世界快报:数据的完整性是企业数字化转型的基础
近万条儿童科普知识大全ACCESS\EXCEL数据库
三缸豪车 雷克萨斯最入门SUV车型LBX官图发布:用上1.5L混动-世界微速讯
腾讯FPS王炸大作!《无畏契约》国服客户端预载:6月8日终测 焦点
夏季风扇和空调到底谁更健康?看完明白了
2023年5月新能源车批发销量出炉:比亚迪能打10个长城
半藏森林克隆人暂下线:还在内测 名额已满_焦点简讯
Java虚拟线程
9千多少儿百科全书百科知识ACCESS\EXCEL数据库|天天看热讯
环球速讯:【解决方法】loopback口添加同目的网段的地址后,无法用默认路由ping通该网段地址
ppt应该保存什么格式
【环球财经】日经股指涨破32000点 为1990年7月以来首次
每日播报!高中最特别的时刻!高考前最后一个晚自习还记得多少?
哪吒CEO张勇:哪吒S是最漂亮的B级车 还是100万内最好的轿跑 热门
迪士尼一边涨价一边裁员:门票卖到799元
女子酒驾被查 喝了几瓶菠萝啤 以为是饮料 天天新资讯
天天热头条丨《小美人鱼》反派人类公主凡妮莎剧照出炉:比美人鱼颜值高、超甜
ST华铁(000976)6月5日主力资金净买入651.43万元 全球热闻
ChatGLM-6B int4的本地部署与初步测试
Ambient Mesh:Istio 数据面新模式
某OA 11.10 未授权任意文件上传
判断非String对象是否为null,小伙竟然用StringUtils.isEmpty(obj+"")
全球负收益率债券规模反弹至近2万亿美元
西部矿业: 目前上半年尚未结束,公司暂时没有收到锂资源公司分红的消息_每日快讯
今日黄金td行情分析(2023年6月5日)
前沿资讯!净化器原厂/第三方滤芯对比:差距高下立判
网传北京将出台摩托车新规 京A禁止过户 多方回应