最新要闻
- 环球短讯!俄罗斯开发者1年拿不到钱!好好的微星AfterBurner被一场战争害死
- 盘点CES上让人耳目一新的小玩意:极具创意
- 参与美国“阿尔忒弥斯计划” 日本人将首次登陆月球:日期未定
- 2499元起 Redmi K60成了:京东好评率比iPhone 14更高
- 新动态:你能接受不?奔驰Smart精灵#1开启硬件订阅:座椅加热1299元
- 时讯:股价暴跌后!特斯拉最大华裔散户天天“炮轰”马斯克
- 环球今热点:手慢真无了 码已不全!森马羽绒/棉服大促:一百多到手
- 世界热讯:美菱推出“杀新冠冰箱”:灭杀率高达99.9% 已过权威认证
- 全球时讯:PS5主机应该横放还是竖放引热议 索尼:都可以
- 热点评!配第四代i-MMD 东风本田新款英仕派e:HEV官图发布:真大号思域
- 外观复刻iPhone 14 Pro!乐视手机S1 Pro标配8+128GB存储:自称5G小霸王
- 当前讯息:一加8钉子户上车一加11:真正上手那一刻被惊艳到了
- 每日消息!一加11成为最火爆的第二代骁龙8旗舰!李杰:友商都可以去查
- NVIDIA推出第5代MAX-Q技术:游戏本性能进一步提升
- 女子买200万豪车 亲友400箱礼花庆贺 整条街道都摆满了
- 每日热议!成功率100%!中国民营火箭谷神星一号五连胜:一箭五星
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
新资讯:网易云音乐用户画像资产治理及业务赋能
针对业务场景中数据应用价值的落地,网易数帆形成了以 DataOps、DataFusion、DataProduct 为内核,数据技术、数据资产、数据应用和数据运营为四要素的数据生产力模型,其中网易公司数据运营的一个重要手段是网易数据治理大赛。本文是第二届网易数据治理大赛获奖作品分享,来自于网易互娱用户体验中心数据团队。云音乐用户画像资产,存在链路强耦合、计存高成本、口径不统一、产品性能又不足的现状问题。本年度通过一定的治理和产品能力扩展,实现资产治理和业务赋能。
在如今降本提效的大背景下,用户画像资产在人维度数据上占据大头资源,历史遗留问题也不少,数据治理迫在眉睫。本文将从项目背景、项目挑战、项目方案、项目成果四个方面进行分享阐述,希望分享能帮助到大家。
1 项目背景
着重说明下业务和技术背景。首先是业务背景,云音乐现阶段用户增长瓶颈总量几十亿用户,日活几千万左右,月活几亿,想要再增长用户成本极高,精细化运营已经是破圈的必须手段。面对现在不同的用户人群,具备不同的商业化潜质,需要对不同人进行商业化分层,才能更好的帮助用户精细化运行。除了主站业务的拓展,子业务扩展也是迫在眉睫,用户画像可以帮助子业务从主站业务挖掘和扩展需要的用户群体,帮助做业务扩展,扩单云音乐整体营收能力。
再说技术背景,主要也分3块内容,历史用户画像建设标签重复建设,多达32张相关画像表存在,部分依赖层级多,且标签重复建设。圈选产品不统一,存在多套产品,比如muse、诺伦、sniper等,产品侧需要做一定的重组。圈选产品的响应速度,也是整个产品获得用户依赖的核心指标,通过一定的技术改造实现从sql圈选到ms级圈选能力是很有必要的。
(相关资料图)
综上,可以概括为云音乐用户画像资产,存在链路强耦合,计存高成本,口径不统一,产品性能又不足的现状问题。
2 项目挑战
数据侧难点:数量大,链路长,时效低,口径多。数量大体现在用户画像涉及上千指标,需要对这些指标做统一的管理,确保指标及其对应表的高内聚底耦合,任务链路存在很多7-8层的任务层级,层级越多,任务的稳定性越差,需要对任务链路进行压缩;实效性方面,现阶段任务的时效性不高,每天产出的时间是10点左右,远没有达到用户需要的6点时效性要求,需要进行产出时间的压缩;关于任务的一致性,需要进行,则是如此之多的画像指标,如何做到指标的一致性是具有很大挑战的。
3 项目方案
3.1 方案框架
针对以上内容,这些脏乱差数据应该如何治理是值得我们花时间去做的事情。本项目结合实际可实现的内容,整理并完善整个项目方案,以治理降本和产品提效为两大主线为解决方案,如下图:
从图中可以看出,整个项目分为五层。底层为画像底表层,包括流量数据、用户中台数据、内容数据、会员数据、社区数据等数仓公共层数据;上层为画像逻辑层,通过对底层数据进行实体关系建模,抽象成用户基础画像、用户行为画像、用户统计挖掘几大块内容。
用户画像的逻辑层建模就是为了实现整个画像层,可以实现数据的一致性标准,确保数是高内聚低耦合的,同时也确保了整体的可扩展性,比如新增游戏业务的话,那就在行为画像中添加游戏实体,可以实现整个逻辑层的可扩展而不需要重构整个内容。
画像的应用层,测试整个画像的输出部分,包括画像核心全量表,以及各类画像的切片画像,如会员画像、日活画像、月活画像等等。
画像产品层是基于画像数据进行的画像产品,包括魔镜圈选产品,实现标签管理的标签工厂,实现标签服务化的标签服务能力等等。
在画像逻辑层和画像应用层涉及整个画像的治理工作,包括画像的产出保障以及任务下线。
再向上则是最终服务业务的业务产品,魔镜通过打通和业务产品的能力,比如打通灵渠,可以实现从用户人群圈选到用户push的打通构建。还有天秤、音乐人运营等产品。
3.2 标签建设
用户画像标签建设以需求触发为出发点,需求调研case如下左表。需求来源包括各线分析师、魔镜、标签工厂产品、运营同学等。通过结合数仓分层和ER实体关系建模的方法、依托业务诉求,设计画像逻辑层。实现数据的高内聚低耦合,从而确保了良好的可扩展性。
比如歌单、歌曲、直播、mv都是实体对象,通过与用户的二元叉乘得到相关数据指标,后续业务扩展游戏等,也可直接实现用户叉乘游戏,实现横向实体扩展。确保实体内数据高内聚,实体间数据低耦合。
3.3 保障体系
保障体系重点在于数据质量的监控保障,以数据稳定性、一致性、及时性、唯一性、完整性、准确性为核心保障内容,详细工具和方式见下图所示:
3.4 任务下线
任务下线机制则主要以定策略,用工具为主要手段,逐步推动下线。
3.5 魔镜产品
用户画像下游接入魔镜产品,实现用户画像表服务各类业务的圈选功能,下游链接各类产品投放产品,实现画像数据的业务赋能。
4 项目成果
项目成果从产品价值、治理价值、业务价值三大块说明。
4.1 产品价值
统一数据服务基于画像数据及标签元数据提供高效的标签服务、圈选服务,基本覆盖了云音乐全部业务圈选服务,应用于用户运营、线上活动、AB实验、广告投放等多个产品及场景。统一数据开放接口的提供为用户运营、线上活动、AB实验、广告投放全业务线提供服务,做到一次开发多产品使用,减少人力开发成本。
产品总计实现1900多次人群包圈选,百亿次圈选,500万次多的push服务,覆盖音乐几十亿用户和上百+标签。
4.2 治理价值
总体预计下线32张表,上千多标签治理,预计节约存储成本近150万,年节省计算成本近200万,预计年度总节省300多万元。
4.3 业务价值
除了产品链路打通后大大节省了push时效外,还有子业务的画像服务场景,也大大体现了业务价值。比如某子业务使用主站用户标签数据,每日实现拉新几千用户,年可节省千万左右成本。
以上是对云音乐数据画像资产治理实践的分享,在这里感谢网易数帆大数据团队对我们的各种支持。
网易数帆近日推出《网易数据治理白皮书》,深入解析传统数据治理常见的痛点,梳理数据治理2.0方法论与实践,并围绕金融、通信、流通等不同行业场景,输出数字化转型过程中的数据治理体系建设经验。领取完整白皮书
新资讯:网易云音乐用户画像资产治理及业务赋能
每日热议![概率论与数理统计]笔记:3.1 随机向量的分布
环球短讯!俄罗斯开发者1年拿不到钱!好好的微星AfterBurner被一场战争害死
盘点CES上让人耳目一新的小玩意:极具创意
参与美国“阿尔忒弥斯计划” 日本人将首次登陆月球:日期未定
2499元起 Redmi K60成了:京东好评率比iPhone 14更高
新动态:你能接受不?奔驰Smart精灵#1开启硬件订阅:座椅加热1299元
环球播报:软件开发入门教程网之C++ 引用
[笔记]斜率优化
HTML超文本标记语言2
时讯:股价暴跌后!特斯拉最大华裔散户天天“炮轰”马斯克
环球今热点:手慢真无了 码已不全!森马羽绒/棉服大促:一百多到手
世界热讯:美菱推出“杀新冠冰箱”:灭杀率高达99.9% 已过权威认证
全球时讯:PS5主机应该横放还是竖放引热议 索尼:都可以
热点评!配第四代i-MMD 东风本田新款英仕派e:HEV官图发布:真大号思域
世界视点!【操作系统实验/Golang】实验4:虚拟内存页面置换算法
世界时讯:Python工具箱系列(二十二)
初识Vue
环球消息!ACWING 4261. 孤独的照片
外观复刻iPhone 14 Pro!乐视手机S1 Pro标配8+128GB存储:自称5G小霸王
当前讯息:一加8钉子户上车一加11:真正上手那一刻被惊艳到了
每日消息!一加11成为最火爆的第二代骁龙8旗舰!李杰:友商都可以去查
NVIDIA推出第5代MAX-Q技术:游戏本性能进一步提升
女子买200万豪车 亲友400箱礼花庆贺 整条街道都摆满了
当前热议!无监控,不运维!深入浅出介绍ChengYing监控设计和使用
学习笔记——在IDEA中创建Maven版的web工程;框架;Mybatis简介;搭建Mybatis框架步骤
每日热议!成功率100%!中国民营火箭谷神星一号五连胜:一箭五星
今日热闻!33岁男子酗酒20年骨头坏死:13岁开始喝、每天至少半斤
动画版口碑崩盘 《三体》国产剧版过审获许可证 最快本月上线腾讯视频
世界速递!特斯拉最大散户投资者成马斯克头号反对者:连续多日公开炮轰
关注:一步一步实现若依框架--2.2实现后台限流rate_limiter
最资讯丨ACWING 4645. 选数异或
天天要闻:全球第四大汽车制造商CEO:欧洲中产阶级将选购中国汽车
清华应届硕士炮轰字节恶意低薪:月薪2万 硕士白读还倒贴
世界快看:面试官:数据库日期类型字段,需要兼容不同数据库,应该如何选择?
今日最新!ThreadLocal源码解析及实战应用
交换机二层组播配置
管理工具造成的阻塞
前沿热点:国产战机大片!电影《长空之王》定档:今年五一上映
杭州外来人口占3成 河南人数比肩本地土著 原来有历史原因
小米13系列大卖、汽车售价可达35万以上 小米高端成了:股价大涨
采埃孚新安全带:不用开空调 可提升电动车15%续航
焦点速读:3999元起 一加11首销51分钟打破所有二代骁龙8销量、销售额双记录
家用光纤宽带多少兆合适?家用光纤怎么接路由器?
招财猫的原型是什么猫?招财猫左手右手分别代表什么?
修正液的成分是什么?修正液的性质有哪些?
丁克家族是什么意思?丁克家庭的好处和坏处有哪些?
纪宝贝是什么电视剧的角色?纪宝贝是什么品种的狗?
印度首家旗舰店来了?传苹果(AAPL.US)开始招聘零售店员工
年终盘点丨最受开发者欢迎的文章 TOP20
天天快报!华硕ROG首款DP2.1接口显示器发布:无压缩4K 160Hz画质
世界热讯:车主激烈维权上演0元购!特斯拉成都门店否认:都是理性维权
重达2.4吨!美国40年前发射卫星今日坠落地球:或为朝鲜半岛
行业最低!一加Buds Pro 2首销899元:全链路延时仅54ms
【全球独家】腾讯发布未成年人春节寒假限玩通知:春节7天全开 工作日继续禁玩
京音平台-一起玩转SCRM之电销系统
全球滚动:特斯拉降价 国外车主怎么就不闹:原因发人深思
环球观速讯丨电视“套娃式充会员”吃相难看 有人呼吁建立互相兼容的会员体系
天天要闻:电子后视镜正式获批!吉利路特斯首批上车:选装费1万6
北斗三号卫星系统总设计师:北斗核心指标已超GPS
精选!极端暖冬席卷欧洲 多国冬天“入夏”:天然气价格也遭暴跌
环球热门:深拷贝、浅拷贝
6.Servlet
环球短讯!春节档电影票房乐观预测可达85亿 吴京主演《流浪地球2》领跑
每日焦点!支付宝2023年“集五福”来了 网友:两块钱的大项目
时讯:网站关停!广汽讴歌成为历史 正式退出中国市场
2023中国航天开门红!我国再次成功发射一箭三星
卢伟冰:Redmi K60卖的非常好 是2.5K-4K价位首选!
天天即时看!未来要取代iPhone!苹果AR/VR头戴设备将春季发布:原型机已发放
A16研发失败后!iOS 17首曝光:苹果挤牙膏 没重大更新让人失望
天天讯息:电源买双倍功率就中计啦!大可不必
全球观热点:用4年依旧流畅!一加11今日首销:最低12G内存 3999元起
焦点速讯:暴雪网易复合几乎不可能:不会降低标准 正和新代理谈的火热
4week-3字符串和字符
世界时讯:DVWA靶场实战(五)——File Upload
ACWING 4366. 上课睡觉
【世界速看料】NVIDIA正在开发AI优化驱动:性能飙升30%
大几千元的空气消毒机是智商税吗?这操作多少有点愣
世界信息:神奇的雌雄同体:一不小心 “老婆”变成“老公”
[1] LeetCode 刷题笔记: 两数之和 [S]
expres实现登录与修改密码
《鹿鼎记》主演时隔24年重聚:小宝的四个老婆 她几乎没变
Codeforces 1671 F Permutation Counting 题解
关注:如何优雅地校验后端接口数据,不做前端背锅侠
《中国奇谭》封神:上线仅三集 追番量破200万
红旗正式发布新能源品牌:全新LOGO 新车3秒破百
【环球新视野】学习笔记——Maven的核心概念之仓库、坐标;maven的依赖管理;Maven中统一管理版本号;Maven的继承;Maven的聚合
jmap——Java内存分析工具
全球消息!AMD锐龙7040砍掉没用的PCIe 5.0!内存翻番256GB
全球快看点丨微软Xbox老大斯宾塞盛赞索尼:无障碍手柄是对PS生态很好的补充
环球观热点:1.Maven入门
每日快播:特斯拉的好日子 到头了
全球热资讯!马斯克承诺成空谈!推特被裁员工仅获1个月工资补偿
中国空间站能量粒子探测器成功安装:自主研发 将开启10年运行
世界快报:Steam特别好评!PC策略大作《文明6》打0.9折:入正绝佳时机
20万天价酒店被抢光!春节旅游十大热门目的地公布
当前讯息:美国能源部出手 阿贡开发出全新锂硫电池:能量密度可达特斯拉4680十倍
看热讯:网约车带走3岁孩子妈妈一路狂追 司机委屈:不敢从反光镜看女乘客
精选!C++ TinyWebserver 部署到Linux下,并运行(使用的是Vmware的虚拟机运行Ubuntu20.04)
世界新动态:JavaWeb概述