最新要闻
- 全球今日讯!谷歌版ChatGPT开放测试:不会编程、不支持中文
- 全球聚焦:微软研究员质疑Bard数据集包括Gmail邮件:谷歌迅速澄清
- 2999元 小米米家对开门540L冰箱今晚开售:风冷无霜保鲜
- 120mg原生高钙 特仑苏纯牛奶3元/盒大促
- 天天最新:破解大难题!苹果新专利:佩戴太阳镜也可看清iPhone屏幕内容
- 精彩看点:商铺上月买卖91宗 涉21亿创半年高
- 热点评!平板电脑屏幕冷知识:高刷比高分辨率重要
- 焦点热讯:比尔·盖茨:GPT是1980年以来最革命性的技术进步
- 今日热讯:极氪009平均订单金额达52.7万元 一台订单收入相当于吉利卖5台
- 谷歌版ChatGPT Bard开启公测!CEO:肯定会出错、欢迎反馈
- 世界焦点!漫威《美队4》正式开拍 首曝片场路透:猎鹰美队就位
- 当前时讯:放假一天不调休!2023清明节假期火车票今日开售
- 快资讯丨《霍格沃茨》在线人数锐减 “反恐同”人士冷嘲热讽
- 环球今日讯!《战争机器》电影确定编剧
- 世界聚焦:刚买1个月的特斯拉掉漆车主质疑非新车 售后:交付时没问题
- 热消息:公交司机急刹车致乘客死亡获刑 官方判定当时不需刹车:交通肇事罪
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
大数据计算引擎 EasyMR:拥抱开源,引领技术创新
身处数字经济时代,随着大数据应用越来越广泛,越来越多的企业和组织开始关注大数据基础平台的建设和运营。在认识到其的重要性之后,如何具体着手搭建或采购大数据基础平台成为下一步需要解决的问题。
【资料图】
在大数据基础平台中,大数据组件是非常重要的一部分,包括数据存储、数据处理、数据分析、数据可视化等。在选择大数据组件时,我们常常在闭源组件和开源组件选择中反复纠结。
本文将从优势、劣势两个维度分析开源组件、闭源组件对大数据基础平台建设的影响,并结合袋鼠云自研的大数据计算引擎 EasyMR 的实践经历进行分享。
开源组件
在大数据领域,开源组件已经成为了构建大数据平台的重要基石。例如 Hadoop、Spark、Hive、HBase、Kafka、Storm、Flink 等开源软件已经成为了大数据处理和分析的主要工具。
这些开源组件不仅提供了高效、可扩展、可靠的大数据处理和存储能力,而且还促进了生态系统的发展,形成了庞大的开发社区和丰富的第三方工具及应用程序。
优势
● 免费
开源组件一般都是免费的,其源代码是公开的,任何人都可以下载、使用、修改和分发,这将极大降低企业的开发和建设成本。
● 灵活性
由于源代码是公开的,企业可以对其进行自定义修改,以适应自身业务需求,增强了灵活性。
● 可扩展性
开源组件通常具有良好的扩展性,可以很容易地集成和升级到其他开源组件。
● 社区支持
开源组件一般拥有庞大的社区,社区成员均可以贡献代码,提供解决方案和支持。这意味着在使用过程中遇到问题,可以得到快速的帮助和解决方案。
开源软件的开发和维护通常由广泛的社区贡献提供,从而形成共同的技术标准和最佳实践,这有助于提高软件质量和安全性,并为企业提供更好的互操作性和可移植性。
劣势
● 依赖社区
开源组件的发展取决于社区的贡献,如果社区贡献较少或者停滞不前,开源组件可能会面临更新缓慢或停止维护的问题。
● 安全性
开源组件的源代码是公开的,这使得黑客和恶意用户可以更轻松地发现和利用其中的漏洞,企业在使用开源组件时,需要进行必要的安全检查和漏洞修复。
商业闭源组件
例如 MapR 公司的 MapR-DB、MapR-ES,IBM 公司的 IBM Streams,Cloudera 公司的 Cloudera Manager、Cloudera Navigator、Cloudera Data Science Workbench 等都是比较主流的大数据闭源组件。
优势
● 技术支持
闭源组件通常由厂商提供技术支持,可以为企业提供更为专业、快速的支持,保障企业的业务稳定性。
● 安全性
商业闭源组件的源代码不公开,使得黑客和恶意用户难以发现和利用其中的漏洞,企业在使用闭源组件时,可以减少安全方面的担忧。
● 定制性
商业闭源组件可以提供定制化的服务,以满足企业的个性化需求。
劣势
● 依赖厂商
商业闭源组件的维护和发展需要依赖厂商的支持,其更新迭代速度比较依赖企业的研发投入,如果厂商出现问题或者停止支持,企业可能需要更换整个组件。
● 价格高昂
商业闭源组件通常需要购买许可证或者按使用量收费,这会极大增加企业的成本。
● 数据生产效率低
商业闭源组件通常会对使用者的自由度和可控性产生限制,如禁止对源代码进行修改等要求。
开源 or 闭源?
开源组件 or 闭源组件,企业究竟应该如何选择?
对比来看,对于需要灵活性和可定制性较高的企业来说,开源组件更为适合;而对于更为注重技术支持和安全性的企业来说,商业闭源组件则更具有优势。
开源组件和商业闭源组件各有优缺点,注定了它们拥有各自的市场需求。但基于 DB-Engines 全球数据管理系统排名来看,开源流行度正在逐年上升,2021年1月开源产品首次超过商业数据库。
开源软件可以降低企业的成本,提高软件产品的通用性,同时促进技术创新和生态系统的发展。
开源软件相比闭源软件的优势主要有两点,一是众人拾材火焰高,通过开源社区的沟通交流,能够更快提高代码质量;二是开源大大提高了软件的推广效率。
可以说,大数据基础平台组件开源,是当前和未来发展的趋势。
EasyMR 的实践之路
袋鼠云大数据计算引擎 EasyMR,作为袋鼠云自研的大数据基础平台,其大数据组件100%基于开源 Hadoop,完全兼容Apache开源生态,与开源社区同步迭代,时刻保持技术的领先性。
在 CDH、HDP 社区版不再更新,国产化信创政策大背景下,袋鼠云支持 CDH/HDP 平滑迁移 EasyMR,助力企业快速实现国产化大数据基础平台的搭建与迁移,真正实现对业务侧不造成任何影响。
袋鼠云作为国内领先的数字化基础软件与应用服务商,十分重视强化产品的基础能力和技术能力,在开源技术的基础上,EasyMR 对 Spark、Flink、Trino、Iceberg 等多个大数据核心组件进行了功能及性能增强。具体优化见下图:
仅在2022年袋鼠云技术同学就完成了上百次的 commit,为 Hadoop 生态的技术发展贡献了属于袋鼠云的力量。
赠人玫瑰手有余香,回馈社区的同时袋鼠云实现了对整个 Hadoop 体系核心代码的完全自主掌握,对于 EasyMR 大数据平台迁移、大数据组件维保、客户培训做到了100%自主可控。
国际环境严峻复杂,袋鼠云深知只有实现关键技术的自主化、国产化,才能真正实现技术创新,攻克“卡脖子”难题。
拥抱开源不止于此
ChunJun 作为袋鼠云重磅打造的批流一体的数据集成大数据开源项目,在袋鼠云及众多开源技术爱好者的协作努力下,目前已进行了5200+commit,拥有3600+star,逐步成为主流的数据集成框架。
今年,EasyMR 将集成 ChunJun 项目,为用户带来更加稳定、高效、易用的批流一体的数据集成解决方案。
基于 EasyMR 的运维管理平台 EasyManager,袋鼠云成功开源一站式全自动化全生命周期运维管家 ChengYing。从开放式统一监控,到定义标准化部署能力,而后引入 Prometheus/Grafana/ 自研 dt-alert 组件,完成统一监控2.0的功能优化,再到多集群管理,帮助企业快速搭建自己的运维管理平台。
EasyMR 的最新版运维管理平台 EasyManager 中的前端组件及样式是基于袋鼠云开源项目 ant-design 的 React UI 组件库、样式库进行打造。袋鼠云 dt- React 组件为使用者提供更丰富的组件库,可以更好的管理组件,减少代码冗余提高前端开发。具体内容将在之后的文章中进行详解。
袋鼠云秉承着开源共享的理念,受益开源的同时积极拥抱世界、拥抱开源,期待与更多开源爱好者一起共建优秀开源产品。
同时,袋鼠云始终坚持自主研发和国产化路线,在技术创新上不遗余力,为企业IT高效、平稳运行保驾护航。
《数据治理行业实践白皮书》下载地址:https://fs80.cn/380a4b
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szbky
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」,交流最新开源技术信息,qun号码:30537511,项目地址:https://github.com/DTStack
关键词:
大数据计算引擎 EasyMR:拥抱开源,引领技术创新
当前聚焦:Java面试问题
解放生产力:30+实用AI工具汇总
全球今日讯!谷歌版ChatGPT开放测试:不会编程、不支持中文
全球聚焦:微软研究员质疑Bard数据集包括Gmail邮件:谷歌迅速澄清
2999元 小米米家对开门540L冰箱今晚开售:风冷无霜保鲜
120mg原生高钙 特仑苏纯牛奶3元/盒大促
天天最新:破解大难题!苹果新专利:佩戴太阳镜也可看清iPhone屏幕内容
【报资讯】vue3
世界视点!设计模式-index
精彩看点:商铺上月买卖91宗 涉21亿创半年高
热点评!平板电脑屏幕冷知识:高刷比高分辨率重要
焦点热讯:比尔·盖茨:GPT是1980年以来最革命性的技术进步
今日热讯:极氪009平均订单金额达52.7万元 一台订单收入相当于吉利卖5台
谷歌版ChatGPT Bard开启公测!CEO:肯定会出错、欢迎反馈
世界焦点!漫威《美队4》正式开拍 首曝片场路透:猎鹰美队就位
世界热议:Android性能优化-ListView自适应性能问题
读C#代码整洁之道笔记03_切面关注点、异常处理和线程与并发
当前时讯:放假一天不调休!2023清明节假期火车票今日开售
快资讯丨《霍格沃茨》在线人数锐减 “反恐同”人士冷嘲热讽
环球今日讯!《战争机器》电影确定编剧
世界聚焦:刚买1个月的特斯拉掉漆车主质疑非新车 售后:交付时没问题
热消息:公交司机急刹车致乘客死亡获刑 官方判定当时不需刹车:交通肇事罪
全球最资讯丨新车品鉴:2020广州车展探馆:广汽传祺EMPOWER
每日热闻!【看新股】10家拟上市银行“换道”注册制:利润普遍增长、资产质量分化、资本充足率承压
精选!iOS 17将支持第三方应用商店:看齐安卓
读Java性能权威指南(第2版)笔记24_ Java飞行记录器JFR
洗衣机6个月不清洗比马桶还脏?我麻了
时代的眼泪 25年历史的数码相机权威网站Dpreview关停
当前快报:Go 并发编程(二):锁、Select、Context、定时器
焦点报道:智能生活垃圾检测与分类系统(UI界面+YOLOv5+训练数据集)
当前通讯!Servlet的基本使用
每日资讯:中国移动:命苦
天天速看:鹿客发布掌心锁V5:掌静脉+3D结构光刷脸解锁 3399元起
尼泊尔空难20天就查明原因?为什么东航事故还没有结果?
世界微资讯!腾讯四年磨一剑!结果 让大家看笑话了
OPPO Find X6 Pro:表演一场简单的光影魔术
亨迪药业(301211):3月21日北向资金减持66.63万股
世界最资讯丨uni-app云开发入门
当前资讯!WPF学习-布局
世界热文:全明星爆款APP“偶像驾到”正式上线 主播经济和明星经纪开启新时代
小屏手机真凉了!苹果卖最差的iPhone 14 Plus 出货量也远超13 mini
今日快讯:mysql集群搭建docker-compose方案
上海农商银行完成上海市政府柜台债发售
山姆会员店寿司致多人上吐下泻:官方拒绝三倍赔偿
天天新消息丨致敬葫芦娃?保时捷911 Carrera GTS泰国特别版官图发布
环球最资讯丨14.5英寸超大屏+天玑9000!联想Y900平板正式发布:4999元起
天天观点:13代酷睿+RTX 40!联想拯救者Y7000P 2023电竞本发布:屏幕大升级
13900HX+4090顶配20999元!联想拯救者Y9000P 2023价格公布
环球最新:睡眠报告:山东人上床睡觉时间全国最早、广东人最能熬夜
焦点快看:埃安(埃)
数据库系统
世界看点:day08-2-Thymeleaf
世界快看:使用OpenCVSharp和NAudio库在C#中录制带有声音的视频并保存下来的代码
焦点快报!债市日报:3月21日
天天观速讯丨放假5天!大学生已经在为五一做准备了
外出告别“板砖”电源!联想拯救者推出140W氮化镓适配器
4799元 创维推出新款G60 4K显示器:150Hz高刷 96W反向充电
即时焦点:2023载人航天飞行任务标识正式发布:中国神话神兽鲲元素
全国车企疯狂降价!吉利汽车CEO:吉利不打价格战
每日消息!微服务与rpc/grpc
全球观热点:第132篇:npm第一次使用自己的包(package-lock.json、package.json文件作用说明)
精彩看点:【Visual Leak Detector】在 QT 中使用 VLD(方式一)
热讯:华硕发布新款Vivobook Go 14/15 OLED笔记本:高配酷睿i3-N305
天天观速讯丨真我GT Neo5 1TB存储网友用掉了500多G:直呼“真香”
全球视讯!Win12及DX13要来了?微软预告DirectX全新功能
通信能力是5G的10倍!全球17家运营商发布6G白皮书:预计2030商用
熬夜伤不起!警惕睡眠质量受电子设备影响
记录--前端加载超大图片(100M以上)实现秒开解决方案
关于“堆”题的总体思路
焦点速讯:地表最强AI,GPT-4专治各种不服
个人交340单位交680退休能拿多少?主要看个人缴纳的部分
焦点速讯:匹克态极速浪跑鞋99元抄底:门店299元
天天热文:女子公园租电动车3个多小时扣466元 运营方:上海价格都是这
焦点滚动:别羡慕了!经常不分场合秒睡可能是种病:得看医生
全球观速讯丨宁德时代麒麟电池已量产 同体积比特斯拉电池电量高13%
世界新消息丨省的都是钱 长安汽车推“百亿补贴”:不到11万可买CS75 PLUS
【Visual Leak Detector】安装 VLD
世界速递!三主摄时代来了!OPPO Find X6 Pro大漠银月图赏
全球看点:49dB降噪行业第一!OPPO Enco Free3图赏
1949元 ROG魔方幻“月曜白”路由器今晚开售:三频万兆速率
今热点:微软Bing上线在线绘图功能:文字生成图片 仅支持英文
天天快资讯:安全性远超燃油车!特斯拉发布调查报告:是美国平均水平7.4倍
环球今头条!DVWA-XSS(Reflected)
环球观焦点:关于基于AWS-Cli的方式对EC2及AMI资源批量添加或者删除tag的方法
每日观点:为什么Tomcat架构要这么设计?这篇文章告诉你答案!
全球微动态丨记录监控摄像头的接入过程及web端播放
全球快资讯丨narak靶机
当前快播:新农股份: 2022年度业绩快报
环球观天下!OPPO Find X6 Pro搭载三星E6屏:亮度高达2500nit、支持Pro XDR显示
焦点滚动:用到安卓17没问题!OPPO宣布Find X系列将支持4次大版本更新
449元-6999元!OPPO Find X6发布会四大新品一图看懂
全球速递!报告:2022年中国每四辆新车就有一辆电动车 比亚迪无敌
全球焦点!为什么不建议用redis做消息队列
世界今亮点!【数位DP】计数问题
前端设计模式——状态模式
每日讯息!关于 Vue 列表渲染 key 绑定 index 的性能问题
每日观察!黄金时间·千海金:避险情绪推升金价 但本周的美联储议息会议依然关键
环球观点:杜绝虚标!哈趣投影率先启用中国CVIA亮度标准:成单片式LCD领头羊
OPPO Find N2系列赢麻了!连续三个月折叠屏销量第一