从此告别写 SQL！DataLeap 帮你零门槛完成“数据探查”

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

2023-04-17 11:52:38 来源：博客园

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

(资料图片)

在日常数据处理工作中，产品、运营、研发或数据分析师经常会面临数据量大且混乱、质量参差不齐的问题，需要花费大量时间和精力校验表数据是否完整、是否有空值，表数据是否有异常、主键是否重复等。

这种校验工作也被称为“数据探查”，即数据负责人在上线前对数据进行测试，保证数据符合业务预期，避免下游用户因为数据错误导致决策失误；或者数据使用者在启用数据表时，对表中数据的质量进行核对，尽早发现缺陷并处理，加强数据质量保障。

一般来说，数据从业者会通过写 SQL 的方式来进行数据探查。但作为数据库查询语句，SQL 具备一定专业门槛，并且重复操作、花费时间。

火山引擎 Dataleap 推出的“数据探查”功能，可一举解决以上问题，帮助数据从业者校验数据量、主键、空值、枚举值等数值。用户只要进行简单的勾选操作，就能轻松获得详细、准确的可视化校验报告，极大节约时间成本，提升工作效率。

具体来说，用户从 DataLeap 进入「数据质量」即可找到「数据探查」模块，从这一界面中点击「确定」按钮即可创建校验。除此之外，用户在 DataLeap 中创建 EMR/LAS SQL 相关类型任务之后，也可以通过任务面板上的「数据校验」button 进入「数据探查」模块。

根据引擎侧选择探查对象，用户可在页面中选择表和库，并设置分区，和对应的探查设置，随后提交确认。

如下图所示，在随后的详细设置页面中，使用者对表 NULL 值、0 值、数值分布、字段枚举值、字段空值等需要校验的项目进行勾选。

在参数设置中，支持以传参方式设置探查滤条件，点击确定，即可完成。

数据探查创建成功后，可以执行查看探查报告、搜索探查结果、查看运行日志等操作，点击探查结果列表前的折叠图标或点击全部展开按钮，展开列表信息

最后，用户通过「数据探查」能够得到什么信息呢？DataLeap 将表中的数据信息以概览和图表的方式进行呈现。

①标题及概览

用户可以一目了然看到校验的基本参数：如谁发起的校验、探查完成时间、分区字段及过滤条件等。

在校验概览中，用户可以看到整张表的探查规则下行数的枚举值分布，主键重复的行数，出现空值的字段数。

②字段枚举值

左侧可选择用户指定的枚举字段，右侧以列表展示该枚举字段下的所有枚举值及其出现次数，以及在各个分组取值下的枚举值数量。

除了数据探查能力之外，作为大数据研发治理套件，DataLeap 还可以提供数据集成、开发、运维、治理、资产、安全等能力，帮助用户提升数据研发效率、降低管理成本，加速推动企业的数字化转型。

点击跳转大数据研发治理DataLeap 了解更多

关键词：