最新要闻
- 和讯个股快报:2023年04月06日 紫天科技(300280),该股K线呈现“乌云盖顶”形态
- 头条:24小时长效锁水 妮维雅男士精华露39.9元狂促:送洁面乳50gx2
- 车市“价格战”开打一月:新车销量未回暖 二手准新车被坑惨
- 速递!杨元庆:联想过去三年营收增长1100亿 PC业务还是第一
- 焦点快报!游客开车陷进沙滩:拖车开口要价5千 待会涨潮至少要5万
- 环球动态:最快6月2日早就能玩到!《暗黑4》全球解锁时间公开
- 世界视点!清明时节祭祖扫墓 “小三通”客运航线往来忙碌
- 福岛核电站1号机组底座受损严重!日本民众集会反对核污水排海
- 环球新消息丨特斯拉发布“宏图计划3”完整文件 10万亿美元改变地球
- 形似“摄魂怪” 澳大利亚悉尼惊现破片云:颜色漆黑、预示狂风暴雨
- 全球今热点:Redmi Note 12 Turbo好评率99%!卢伟冰:得到极大认可 把竞品甩在后面
- 快看点丨划时代产品!特斯拉新款小型电动汽车公布 目标销量4200万辆
- 世界速读:我2022年8月18月去医院做牙齿矫正,但是我只交了定金,后续也没拿到牙套
- 焦点快报!深赛格:融资净买入132.4万元,融资余额1.03亿元(04-04)
- 天天报道:中国为何未研制出ChatGPT?中科院包云岗:需要优秀技术团队、雄厚资金
- 苏炳添用iPhone 14引热议 本人回应:与小米合约到期 手机摔坏才换
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
环球资讯:EasyMR 安全架构揭秘:如何管理 Hadoop 数据安全
2017年,美国信用评级机构 Equifax 遭受黑客攻击,导致1.4亿个人的敏感信息泄露;
2020年,发生了 SolarWinds 公司的软件供应链遭受恶意代码攻击事件,涉及多个行业和国家;
2022年,网信办依据《数据安全法》等法律法规,对滴滴公司开出人民币80.26亿元的巨额罚款,对互联网企业敲响数据安全警钟。
(资料图片)
近年来,数据安全正在快速成为当今信息化时代一个备受关注的话题。在数字化快速发展的今天,各个领域都离不开数据的支撑,而数据安全问题也随之成为了一项重要的任务。企业、政府、学术机构等各种组织和个人都需要保护自己的数据免于泄露、丢失、篡改或被滥用等风险。
Hadoop 作为进入大数据领域的必备技术,由于自身的业务特点,一般都是部署在用户内网中,所以在早期设计的时候不是太注重安全方面的设计,而更多的专注于实现业务的功能。
作为领先的数字化基础软件与应用服务商袋鼠云,一直以来也高度重视数据安全问题,2022年12月,在自研的大数据计算引擎 EasyMR 上新增了一站式大数据应用安全防控以及数据权限管控能力。
基于此,EasyMR 可以实现一键部署安全管控服务,一键开启大数据集群组件的安全认证、用户管理以及权限管控服务。
本文就为大家展开介绍一下 EasyMR 具体是如何管理 Hadoop 数据安全的。
Hadoop 的安全问题
最早部署 Hadoop 集群时并没有考虑安全问题,未开启安全认证时,Hadoop 是以客户端提供的用户名作为用户凭证, 一般就是发起任务的 Unix 用户。线上机器部署服务通常会采用统一账号,当以统一账号部署集群时,所有执行 Hadoop 任务的用户都是集群的超级管理员,非常容易发生误操作。
即便是以管理员账号部署集群,恶意用户在客户端仍然可以冒充管理员账号执行。随着集群的不断扩大, 各部门对集群的使用需求增加,集群安全问题就显得颇为重要。Hadoop 的安全问题,一般包括以下两个方面:
· 用户认证(Authentication) 即是对用户身份进行核对, 确认用户是其声明的身份, 这里包括用户和服务的认证。
· 用户授权(Authorization) 即是权限控制,对特定资源,特定访问用户进行授权或拒绝访问,用户授权是建立在用户认证的基础上, 没有可靠的用户认证谈不上用户授权。
EasyMR 如何接管 Hadoop 安全
EasyMR Hadoop 的安全认证是基于 Kerberos 实现的,集成 LDAP 用户体系。 Kerberos 是一个网络身份验证协议,用户只需输入身份验证信息,验证通过获取票据即可访问多个接入 Kerberos 的服务,机器的单点登录也可以基于此协议完成。
Hadoop 本身并不创建用户账号,而是使用 Kerberos 协议来进行用户身份验证,从 Kerberos 凭证中的用户信息获取用户账号, 这样一来就跟实际用户运行的账号无关。
EasyMR 接管 Hadoop 安全主要使用以下两种账号管理方式:
集群账号管理
原先我们使用单一账号作为集群管理员,且这一账号为线上统一登录账号, 这存在极大的安全隐患,我们需要使用特殊账号来管理集群。这里涉及的问题是,我们需要几个运维账号呢? 一种简单的做法是使用一个特殊运维账号, CDH 和 Apache官方也都推荐按服务划分账号来启动集群。
考虑到精细化控制可以有效避免误操作,EasyMR 遵循官方的建议使用多账号,使用 Hadoop 作为同一用户组,每个组件使用单独的用户。如果是从单一运维账号迁移到多个账号部署时,则需要考虑相关文件权限问题,包括本地以及 HDFS 两部分,可以在安全部署上线时完成相应改动。
EasyMR 组件服务运行的用户信息可以配置在产品包服务层级下,下图以服务 hdfs_namenode 为例:
用户账号管理
考虑到每个团队下会有不同的小组,每个小组都有使用 Hadoop 来进行大数据处理需求,所以需要一定程度的多租户环境, 这里主要考虑其中的数据和操作的权限问题,EasyMR 集成了 LdapServer 目录服务系统,其功能优势具体体现如下:
• LdapServer 能够减少用户账户管理人员在面对用户数量大、增长快等问题的情况下对账号的创建、回收、权限管理、安全审计等一系列复杂而繁琐工作的压力。
• LdapServer 能够解决多层次、多类型系统、数据库的安全访问难题,所有与账号相关的管理策略均配置在服务端,实现了账号的集中维护和管理。
• LdapServer 能够充分继承和利用平台组织中现有的账户管理系统的身份认证功能,并实现了账户管理与访问控制管理的分离,提高了大数据平台访问认证的安全性。
EasyMR 如何部署 Hadoop 安全
EasyMR 可以支持 Hadoop,Hive,Spark,Ranger 组件开启Kerberos功能,每个组件的开启操作基本一致。下面以开启Hadoop Kerberos 功能为例为大家介绍EasyMR 具体是如何部署 Hadoop 安全的。
准备产品包
安装产品包
● 安装 zookeeper、openldap、kdc、Hadoop 服务
以安装 Hadoop 服务为例,选中需要安装的服务,点击下一步;
指定每个服务需要部署的节点,点击执行部署;
部署完成后,可以在节点检查目录的权限及组件的启动用户。
开启 Kerberos 安全
部署完服务后,需要按照 Kerberos 开启顺序依次开启。
● zookeeper 开关
首先在服务页面,选择 zookeeper 服务,在部署配置里面找到 Switch 开关项,切换开关状态,等待开关开启结果。
● Hadoop 开关
在服务页面,选择 hadoop pkg 服务,在部署配置里面找到 Switch 开关项,切换开关状态,等待开关开启结果,开启成功后,hadoop Kerberos 功能就成功启用了。
应用授权
授权一般来说是由应用来决定的,通过在 LDAP 数据库中配置一些属性可以让应用程序来进行授权判断。EasyMR 在部署完 LdapServer 后,平台管理里面将会自动关联 LdapServer 的连接信息,用户只需选中对应的 LdapServer 连接,在对应的用户下点击下载票据即可。
《数据治理行业实践白皮书》下载地址:https://fs80.cn/380a4b
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szbky
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」,交流最新开源技术信息,qun号码:30537511,项目地址:https://github.com/DTStack
关键词:
-
环球资讯:EasyMR 安全架构揭秘:如何管理 Hadoop 数据安全
2017年,美国信用评级机构Equifax遭受黑客攻击,导致1 4亿个人的敏感信息泄露;2020年,发生了SolarWin...
来源: -
和讯个股快报:2023年04月06日 紫天科技(300280),该股K线呈现“乌云盖顶”形态
“乌云盖顶”是K线图较为常见顶部转形态图表之一。这种形态一般出现在上升趋势之后,在有些情况下也可能...
来源: 环球资讯:EasyMR 安全架构揭秘:如何管理 Hadoop 数据安全
小程序容器助力组装移动银行超级APP
【环球报资讯】GPS北斗卫星时钟服务器在飞机场内网中的应用
和讯个股快报:2023年04月06日 紫天科技(300280),该股K线呈现“乌云盖顶”形态
头条:24小时长效锁水 妮维雅男士精华露39.9元狂促:送洁面乳50gx2
车市“价格战”开打一月:新车销量未回暖 二手准新车被坑惨
速递!杨元庆:联想过去三年营收增长1100亿 PC业务还是第一
焦点快报!游客开车陷进沙滩:拖车开口要价5千 待会涨潮至少要5万
环球动态:最快6月2日早就能玩到!《暗黑4》全球解锁时间公开
世界视点!清明时节祭祖扫墓 “小三通”客运航线往来忙碌
每日短讯:全网最详细中英文ChatGPT-GPT-4示例文档-会议笔记文档智能转摘要从0到1快速入门——官网推荐的48种最佳应用场景(附python/node.
世界即时:Linux在游戏界的口碑树立
前端设计模式——MVC模式
福岛核电站1号机组底座受损严重!日本民众集会反对核污水排海
环球新消息丨特斯拉发布“宏图计划3”完整文件 10万亿美元改变地球
形似“摄魂怪” 澳大利亚悉尼惊现破片云:颜色漆黑、预示狂风暴雨
全球今热点:Redmi Note 12 Turbo好评率99%!卢伟冰:得到极大认可 把竞品甩在后面
快看点丨划时代产品!特斯拉新款小型电动汽车公布 目标销量4200万辆
世界速读:我2022年8月18月去医院做牙齿矫正,但是我只交了定金,后续也没拿到牙套
SpringBoot如何进行限流,老鸟们还可以这样玩!
环球微资讯!Podman Compose 新手指南
环球今热点:美国ADP就业数据不及预期 暗示劳动力需求降温
焦点快报!深赛格:融资净买入132.4万元,融资余额1.03亿元(04-04)
天天报道:中国为何未研制出ChatGPT?中科院包云岗:需要优秀技术团队、雄厚资金
苏炳添用iPhone 14引热议 本人回应:与小米合约到期 手机摔坏才换
大妈捡手机要好处费2包烟见面变500元被吐槽:你捡到会痛快归还吗?
焦点速读:NV不愁卖!2023年PC游戏硬件市场继续萎缩:AMD、Intel显卡要打对折卖
每日资讯:沪广深去年公积金个贷降两成 今年超60地优化公积金政策
天天速递!科技伦理审查提速 AI“变坏”设防
天天最资讯丨核污水将倒入大海 降低水产品辐射分析精度!日本1.8亿粒扇贝不明原因死亡
世界快看:64位才是王道!《英雄联盟》13.7版本今日更新:32位Win系统续一条命
汽车仪表盘显示感叹号加个圆圈_汽车仪表盘显示感叹号
【天天报资讯】读SQL进阶教程笔记10_HAVING下
Python 开发环境安装
世界热文:海盗船192GB DDR5内存套装开卖:带上“光污染” 7699元!
天天百事通!研究了2600多篇爆仓文学后 我好像搞懂人是怎么变赌狗的了
天天看点:无数人的童年回忆:重制后把我裤子都感动湿了
标准版也要有高刷了!iPhone全系列或于2025年引入LTPO技术
【环球时快讯】穿越之汉武帝
世界微速讯:彻底崩了!AI遭全球“围剿” A股咋应对?超9000人联名“封杀” 巴菲特又要“抄底”?
【打怪升级】【jvm】关于jvm内存模型及GC调优
【当前热闻】房东称闰二月要多交1个月房租 网友:这是住在月亮上吗?
ChatGPT需要1万张NVIDIA A100显卡 国内仅有6家公司做到
全球快消息!杭州一男子坐地铁自带沙发 怎么过的安检?地铁回应
焦点热讯:Lambda
TVM Deploy Runtime[施工中]
环球精选!股债二八平衡策略
世界实时:20年来最优秀游戏处理器!AMD锐龙7 7800X3D首发评测:大幅超越i9-13900KS
周鸿祎离婚给前妻90亿 李国庆羡慕:没争夺控制权 他就乐吧
RTX 3060登顶Steam神卡 AMD显卡被黑?竟是国内玩家的锅
全球快资讯丨“索要千万逼死老公案”五年后一审宣判:妻子翟欣欣退还男方上千万财产
环球热头条丨我的第一个项目(九) :飞机大战Vue版本塞到主页
Unity开发Hololens2—环境配置
设计模式(三十二)----综合应用-自定义Spring框架-自定义Spring IOC-自定义Spring IOC总结
CS50-Python实验3,4
天天精选!00后都开始立遗嘱了:微信号、QQ号、游戏账号成热门虚拟财产
《他是谁》烂尾 编剧疑似甩锅剧本总监:感谢你把剧本改成这
世界快讯:莱万:若留拜仁或会失去踢球的乐趣 在巴萨除了进球我有不同角色
【全球热闻】上映25周年纪念!《泰坦尼克号》4K重映版票房破2000万
每日热点:全球首例真人状告机器人!澳大利亚一市长准备告ChatGPT诽谤
Cesium 案例(二)Web MapTile Service with Time
渗透测试——简单的流程化信息收集
胖东来创始人称加班不道德:不能只挣钱
世界热头条丨在Steam上买了个假冒黄游 结果居然给我玩爽了
焦点热文:女子称使用化妆品后流产 送检发现:汞含量超标30万倍!
每日消息!俄罗斯一男子19楼坠落后自行上救护车:还给医务人员唱了歌
全球热文:速速电影院-尽情泡约网电影院
索尼推出WF-C700N无线耳机:15小时长续航、支持空间音频
GT2大探成最后一款!真我手机将不再有“大师探索版”
福布斯发布2023亿万富豪榜:亚马逊贝索斯最惨 资产流失近4000亿
焦点播报:AOC公布小苔藓M6迷你主机:i5-13420H、配全功能USB-C
101岁杨振宁罕见露面 获香港大学名誉博士学位
天天热门:java字节流和字符流
如何设计一个 70w 在线人数的弹幕系统 ?
vivo X Fold2通过3C认证:4800mAh电池+120W快充
当前快播:比尔盖茨回应暂停训练AI:并不能解决问题 重点是最大程度利用
今日最新!告别Mini LED!MacBook Pro屏幕将升级为OLED:三星供货
回国在即!旅美熊猫丫丫上海检疫后将被北京动物园接走
每日热文:汇编第三章复习之七种寻址
请注意!武汉全民健身中心游泳馆营业时间调整
199元一人!金山办公推出WPS 365“全家桶”服务
最资讯丨飞利浦推出新款44.5寸带鱼屏:弹出式摄像头 售价近9000元
头条焦点:真人电影《芭比》新预告:小丑女尽显修长美腿
女子请假照顾病危丈夫被公司开除!法院判了:公司赔13万
世界热议:sms-activate操作简便易上手且好用的接码工具【保姆级教程】
环球新消息丨5岁娃上坟藏冥币带回家要送朋友:还有男孩在奶奶坟前跪求不写作业不挨打
新势力老大换了!理想汽车周交付超6000辆:超蔚来、小鹏总和
环球热点评!2023年清明档票房破亿!任天堂《超级马力欧兄弟大电影》暂列亚军
天天热消息:立省4万!商家上线理想L7、L8“激光雷达”改装件:自己都能装
全球观天下!李子柒油管广告收益登顶热搜 停更一年收入78万元
世界热讯:宿迁贷款利率2022最新利率表,宿迁贷款利息
沙特俄罗斯等减产拉高油价后 黄金大涨近2%逼近历史最高纪录:美国难受
焦点速读:豆瓣8.0分!电影《忠犬八公》票房破亿:冯小刚主演
自建堆排序:
焦点!JavaScript快速入门(二)
微头条丨你坐过吗?这款双层火车全国仅此一列
焦点快播:必看?迪士尼《小美人鱼》内地定档5月26日 最新剧照黑小美人鱼亮相
全球热讯:时隔6年 任天堂马里奥之父宫本茂暗示新作要来了:告别手游平台
特斯拉法务部要玩真的了 马斯克:我们找了许多有才的律师
环球视点!666元起!国内一公司推出太空葬 创始人:逝去亲人快到头顶会手机提醒