每日精选：数据安全新战场，EasyMR为企业筑起“安全防线”

2022-12-08 18:10:59 来源：博客园

2020年1月，时间跨度长达14年的，微软2.5亿条客户服务和支持记录在网上泄露；

同年4月，微盟发生史上最贵“删库跑路”事件，造成微盟市值一夜之间缩水约24亿港币；

今年7月，网信办依据《数据安全法》等法律法规，对滴滴公司开出人民币80.26亿元的巨额罚款，对互联网企业敲响数据安全警钟。

【资料图】

数据作为互联网的重磅资源，当今重要的“生产要素”及核心竞争力，已经获得了立法上的认可。随着2021年9月1日，中国第一部有关数据安全的法律《数据安全法》正式施行，我国的数据安全制度已经进入了一个新阶段。

不同于网络安全侧重于通过保障计算环境的安全，从而最终保障计算对象的安全。数据安全是以“数据为中心”，主要侧重于数据全生命周期的安全和合规性，以此来保护数据的安全。而企业数据资产作为未来企业发展的基座，在数据采集、存储、处理的一系列流程中，无疑面临着巨大的安全风险挑战。

如何更好地保障数据安全，成为压在每个企业肩头沉甸甸的担子。

一站式大数据安全管理

作为全链路数字化技术与服务提供商，袋鼠云在数据安全方面有过多年的探索和实践。近日，袋鼠云依托其实践，在旗下产品大数据基础平台EasyMR上新增了一站式大数据应用安全防控以及数据权限管控能力。

EasyMR是袋鼠云今年7月最新推出的自研大数据基础平台，该产品集成了服务管控应用ChengYing和内部孵化大数据生态，提供Hadoop、Hive、Spark、Trino、HBase、Kafka等组件的自动化安装、中心化管理与集群监控告警功能，完全兼容Apache开源生态。是一款具备标准的服务部署、服务监控、服务管理等功能的产品。

此次，EasyMR通过集成第三方的安全管控服务Kerberos、Ldap和Ranger分别对大数据集群进行用户安全认证、访问用户管理以及用户数据权限管控。

借助EasyMR的部署和管理能力，以界面化方式部署大数据集群安全管控服务。大数据集群使用者无需关注安全服务部署逻辑以及应用内部工作逻辑，只需要在EasyMR界面查看具体开启进度以及开启结果状态。

通过EasyMR部署大数据集群管控服务，运维人员可以直观地在EasyMR界面对安全管控服务进行管理和运维，包括服务的启停、状态监控等。

EasyMR安全管控能力

相比与其他厂商的大数据集群安全管理，EasyMR可以做到一键部署安全管控服务，一键开启大数据集群组件的安全认证、用户管理以及权限管控服务。下面来具体聊聊EasyMR的安全管控能力。

操作便捷

借助EasyMR的管理能力，在部署安全管控服务之后，仅需要在对应的服务页面点击开启安全按钮，即可开启对应服务的安全。如图：

例如：需要对Zookeeper开启Kerberos，则只需要跳转到Zookeeper所在服务页面，点击开启按钮，等待开启完成。应用开启安全的内部具体实现流程如下：

EasyMR功能丰富，其中连接KDC进行服务票据的生成和服务票据的分发是通过EasyMR的脚本管理能力完成；配置变更和配置下发到各个主机则是凭借EasyMR的配置管理能力，在后台对开启安全服务配置进行新增和修改；而服务重启则依赖EasyMR对服务起停的管理能力，实现对大数据集群的自动重启。

借助EasyMR的配置文件管理能力，在未开启Kerberos状态下，针对大数据集群的配置会单独维护一份当前集群状态使用的配置。当点击开启Kerberos的按钮时，后台会将开启Kerberos的配置新增到当前的配置文件中。

例如 core-site.xml中的hadoop.security.authentication Kerberos。在未开启安全情况下，此配置会默认赋值simple；在开启安全操作触发后，此配置会后台替换为Kerberos，然后配置下发到对应服务所在主机上；配置下发完成后，EasyMR会自动触发服务重启逻辑，加载新的配置，重启完成后会显示安全开启成功。

具体开启步骤：

Part.1 点击开启按钮，确定开启安全

Part.2 查看具体开启进度以及开启打印日志

Part.3 开启成功

Part.4 票据下载使用

管理便捷

EasyMR具有大数据集群配置文件管理能力。在开启Hadoop安全后，使用者想利用客户端连接工具使用Hadoop或者Hive，对应的Hadoop集群配置文件hdfs-site.xml、core-site.xml、yarn-site.xml以及用户票据等文件不需要到服务器上去进行获取，直接在对应服务的页面点击下载配置按钮，即可下载对应配置的压缩包，方便快捷。如图：

EasyMR在对Kerberos和Ldap应用基本的部署、服务管理、服务监控等基础功能外，增加了对Ldap用户信息的管理，拥有了用户信息查看，用户或用户组信息过滤，用户信息新增、修改用户信息等功能。

使用者在EasyMR页面可以直接通过内嵌LDAP连接或者新增lDAP连接查看Ldap用户信息。以及可以通过用户过滤以及组过滤的方式，查看过滤后的用户信息以及组下的所有用户信息。

此外，EasyMR还新增了对Kerberos用户和用户票据的管理功能。在管理了Ldap服务后，使用者在Ldap中新增一个用户，EasyMR内部会在Kerberos中同步创建一个Kerberos用户。对于使用者来说，Kerberos用户信息与Ldap用户属于对应关系。Kerberos用户创建完成后，EasyMR会调用KDC服务对此用户进行票据信息的生成。使用者可以在此界面直接下在票据信息，无需再到服务器上连接KDC服务生成票据以及下载票据。

在EasyMR服务管理界面，用户可以直接通过点击Ranger Admin服务提供的web链接信息跳转到对应的web ui界面，对Ldap用户进行服务权限以及数据权限分配管理。

EasyMR安全能力规划

数据安全随着数字经济的发展以及越来越多企业开始数字化转型变得越来越重要，对于企业来说，有着“牵一发而动全身”的效应。

作为国产自主研发的大数据基础平台，在现有的安全管控能力基础上，EasyMR接下来还将丰富对大数据集群的管理能力，持续优化安全管理的便捷性与通用型。

在当前安全管控能力优化增强的基础上，EasyMR将持续增加KMS、SSL等一站式服务权限管理能力，保障大数据集群的服务安全、用户统一维护、权限统一管理。未来，EasyMR将会持续丰富大数据集群安全防控，以保障用户任务运行在安全高效的集群上。

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友，浏览袋鼠云官网：https://www.dtstack.com/?src=szbky

添加【小袋鼠：dtstack001】入qun，免费获取大数据&开源干货

同时，欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」，交流最新开源技术信息，qun号码：30537511，项目地址：https://github.com/DTStack

关键词：数据安全安全管理配置文件