最新要闻

广告

手机

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

 警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

家电

  1. 首页
  2. 移动通信
  3. 内容

【焦点热闻】十分钟读懂火山引擎 DataLeap 数据治理实践

来源：博客园

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群


【资料图】

日前，火山引擎数智平台 VeDI 直播活动「超话数据」在线举办，来自火山引擎 DataLeap 数据产品专家从数据治理与管理，企业数智化升级等角度，分享了 DataLeap 在字节跳动内的治理经验和实践。

DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品，帮助企业快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，提升数据研发效率、降低管理成本，自 2022 年推出至今，DataLeap 提供的数据研发治理能力已陆续被多个行业企业所采用。

本次分享主要围绕以下几个方向展开：

  1. 数据治理是数据中台核心能力之一

  2. 一站式数据治理赋能企业数字化转型

  3. 基于字节经验的数据治理解决方案

  4. 以「在线教育」场景为例，解读数据治理实践

企业数字化升级业务场景及痛点

1、数据孤岛

一种情况是海量数据分散在各处且形态各异，造成集成困难；另一种情况则是批量数据和实时数据的集成技术不同，导致集成难度。

2、需求响应慢

通常数据开发的需求是支持业务，但一般一个需求从提出到到沟通到交付，周期是 2 周以上，甚至更长，会影响到业务的一些敏捷度。其次数据的需求不好复用，也会涉及到像重复开发以及浪费资源的情况。

3、数据质量差

第三个痛点是数据质量差，由于数据的杂质比较多、质量不好，清洗难度大，当出现口径不一致的时，会影响到数据产出的时效。

4、资产共享难

最后一个是数据资产的共享难，一般企业有让数据资产能够沉淀，能够共享的诉求。如果是遇到源数据不完善，用户无法找到数据，同时缺少有效的知识体系的一些沉淀，对数据价值的挖掘也是一个难点。

火山引擎数据中台解决方案

一站式大数据研发治理平台

火山引擎目前提供的数据中台解决方案由两部分组成：一站式的大数据研发治理平台+大数据的平台。一站式的研发治理平台，它主要解决的包括数据的整合，支持多元异构的数据的接入。其次是数据的全链路研发管理，包括支持多引擎以及对接各种各样的 DATA、OPS、 CICD 的能力。第三层是全生命周期的治理，包括到质量基线、 SLA 等等。一站式的大数据研发治理平台第四层是数据安全共享，提供向细粒度的数据权限管控和审批。

大数据平台

大数据平台是一个底座，提供的是数据的存储和计算能力，支持像 TB 到 PB 级的离线，实时检索各种场景。它有两个引擎，一是基于开源 Hadoop 生态的 EMR，支持数据湖场景，二是火山引擎自研的湖沧一体分析服务 LAS，兼容开源生态，支持数据仓库 &数据湖场景。

大数据研发治理套件 DataLeap 产品架构

全链路的数据研发

全链路的数据研发，涵盖数据源、数据集成、数据处理、数据服务等全流程。为了提高数据开发效率，DataLeap 还提供支持数仓规范建模、代码审查的发布中心，以及支持任务运维、数据回溯的运维监控。

全域治理

全域治理，包括治理规划、进度管控到治理收益反馈全流程能力，支持用户完成 SLA 治理、数据质量、数据安全、成本治理以及报警治理等工作。

资产地图

资产地图，主要是支持数据资产沉淀、数据共享以及数据复用。

关键能力 1：一站式数据研发全链路管理

一站式的数据研发全链路管理，主要面向研发场景，覆盖从需求设计到开发、测试、发布、验收、运维等全部流程。

首先能提供稳定、安全、高效的数据集成服务，支持 20 +以上多元异构数据集成；其次能提供一站式、全栈数据研发服务，兼容 Spark、Flink 等多种计算引擎，提供 HSQL、Spark、Python、Flink 、SQL、Notebook 等 10+数据开发能力；最后是全面的运维能力，丰富的批、流任务监控规则，归类业务运维管理，监控全链路任务运行。

关键能力 2：数据全生命周期治理-分布式数据自治

第二个关键能力是全生命周期的数据治理，也可称为“分布式数据自治”。分布式数据自治场景涵盖稳定性、质量、安全、成本优化等内容。

在产品层面，火山引擎 DataLeap 提供规划式治理、治理诊断以及治理之后的目标验收和复盘，还具备 SLA 数据安全资源优化等功能。

关键能力 3：数据资产发现及细粒度权限管控

第三个关键能力是数据资产发现以及细粒度权限管控，它主要是提供了痊愈的数据采集，基于血缘能够展示出来所有的元数据，能够挖掘数据价值，能够找数、用数等。数据资产提供了强大的检索能力。并且 DataLeap 有很丰富的元数据的详情信息，结合数据血缘，帮助用户能够全面地探索和理解各种各样的数据内容。

DataLeap 提供事前、事中、事后这种全方位的数据安全保障，做到最小授权原则，同时提供强大的数据审计能力，包括权限审计、行为审计等等。

核心优势

第一是 DataLeap 是能够和多云多引擎开源兼容的一个大数据治理平台的软件产品，刚才提到的像 EMR 、LAS 这种平台。 从产品形态上来看，DataLeap 提供公有云的 SaaS 以及私有化多云部署的能力。在研发上，实现了研发全链路覆盖，这是一整套完善的能力。第三是字节特色的分布式数据自治， SLA 细粒度的权限管控，事中事前、事中事后的全生命周期的数据治理的能力。第四个优势是数据资产、地图共享，提供数据专题，指标平台、数据血缘链路追踪、数据服务，帮助搭建企业级数据资产体系和数据共享。

客户案例分享

以得到 APP 为例，得到面临业务数据不稳定、数仓欠缺规范性等治理问题。

通过引入数据 BP 机制，结合专家咨询，火山引擎 DataLeap 帮客户搭建可持续的治理体系。在提效方面，帮助得到推荐以及落地数据质量和 SLA 达成率，解决了产出延迟和脏数据的问题，显著的提升了数据故障的解决效率，即从 3 天降为 1 天。同时，DataLeap 帮得到沉淀出一个规范化数仓，构建出八个业务域，使得数据地图的完整度提升，并提高了找数、用数效率。

从实施效果上来讲，得到团队完成从 0 到 1 的数据治理体系搭建，最终实现数据研发提效 50% ，使得 4 人数仓团队管理超过 3000 个数据任务，数仓易用性也提升 60%。

点击跳转 大数据研发治理套件 DataLeap 了解更多

关键词：