最新要闻
- 新美男记_关于新美男记简介
- 当前资讯!高考考生们这些“套路”骗局要当心:千万别信
- 环球观热点:小哥十米高跳江救人!老家张家界奖励10万元外加一套房
- 16针显卡供电接口闯大祸!第一次把电源烧了
- 全球实时:HDD硬盘被垄断 倪光南院士:SSD取代的时机到了
- iPhone 15 Pro Max影像这下拉满了!看不到短板
- 景区观光车这价格,吃相太难看了
- 环球热讯:两部门印发文件部署高校毕业生档案转递接收工作
- 国网集安市供电公司:开展端午节前作风建设监督检查
- 世界要闻:比法拉利更抢眼!理想设计师亲自“泄密” W01设计手稿公布
- 苦中作乐!广东暴雨积水成河:有人屋内钓鱼 外卖车成水上摩托-当前滚动
- 快报:顾客遇账单刺客8碗米饭要90元 餐厅反驳:为了拍段子蹭流量
- 热到怀疑人生!今年“烧烤模式”来得早
- 每日视讯:RTX 4080显卡杀到8399元 铭瑄618全程价保:硬核装备开抢
- FOreverLove什么意思中文
- 今日视点:胸部怎样才算不下垂_胸部怎样才能变大
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
即时焦点:曝光!Apache SeaTunnel Catalog 功能设计为何能大大简化用户启用步骤?
Catalog(目录)提供了关于数据库、表格和访问数据所需的信息的元数据,以及统一的 API 来管理元数据,验证连接,让元数据对 Sources(数据源)、Sinks(数据汇)和 Web 可访问。
Catalog 让用户能够引用其数据系统中的现有元数据,并自动映射到 SeaTunnel 的对应元数据。总之,Catalog 大大简化了使用用户现有系统开始使用 SeaTunnel 的步骤,并显著增强了用户体验。
Catalog 功能的重要性
目前,许多现有功能都是基于 Catalog 实现的,例如 CDC(变更数据捕获)多表同步功能,我们使用 Catalog 获取表格和字段列表。
【资料图】
Apache SeaTunnel 目前正在设计一个叫做 SaveMode 的功能,它是由连接器实现的,用于支持目标表中现有表格结构和数据的处理。这些功能也是基于 Catalog 实现的。
Catalog 是如何设计的?如何实现一个新的 Catalog?以下是详细介绍。
Catalog API
初始化操作
注意:目录名称目前没有被使用,预计会提供给 Web 后端进行保存和查询。
Javapublic interface CatalogFactory extends Factory { String factoryIdentifier(); OptionRule optionRule(); Catalog createCatalog(String catalogName, ReadonlyConfig options); } public interface Catalog extends AutoCloseable { void open() throws CatalogException; void close() throws CatalogException; }
数据库操作
javapublic interface Catalog extends AutoCloseable { // -------------------------------------------------------------------------------------------- // 数据库 // -------------------------------------------------------------------------------------------- String getDefaultDatabase() throws CatalogException; boolean databaseExists(String databaseName) throws CatalogException; List listDatabases() throws CatalogException; void createDatabase(String databaseName, boolean ignoreIfExists) throws DatabaseAlreadyExistException, CatalogException; void dropDatabase(String databaseName, boolean ignoreIfNotExists) throws DatabaseNotExistException, CatalogException; }
表格操作
javapublic interface Catalog extends AutoCloseable { // -------------------------------------------------------------------------------------------- // 表格 // -------------------------------------------------------------------------------------------- List listTables(String databaseName) throws CatalogException, DatabaseNotExistException; boolean tableExists(TablePath tablePath) throws CatalogException; CatalogTable getTable(TablePath tablePath) throws CatalogException, TableNotExistException; void createTable(TablePath tablePath, CatalogTable table, boolean ignoreIfExists) throws TableAlreadyExistException, DatabaseNotExistException, CatalogException; void dropTable(TablePath tablePath, boolean ignoreIfNotExists) throws TableNotExistException, CatalogException; }
这里是一个已经实现的示例。
MySQL Catalog
MySQL Catalog 的使用方式:
- username [String] 连接到数据库服务器时要使用的数据库名称。
- password [String] 连接到数据库服务器时要使用的密码。
- base-url [String] URL 必须包含数据库,例如 "jdbc:mysql://localhost:5432/db" 或 "jdbc:mysql://localhost:5432/db?useSSL=true"。
- table-names [List] 要捕获的数据库表格名称列表。表格名称需要包括数据库名称,例如:database_name.table_name。
- database-pattern [String] 要捕获的数据库名称的正则表达式。
- table-pattern [String] 要捕获的数据库表格名称的正则表达式。表格名称需要包括数据库名称,例如:database_.\.table_.。
配置文件配置
conf[source/sink] { [connector-factory-id] { catalog { factory = "MySQL" username = "test" password = "123456" base-url = "jdbc:mysql://localhost:5432/db" table-names = [ "db.table" ] } } }
如何使用 Catalog
对于支持 Catalog 的连接器,我们将打开一个 Catalog 参数来配置所使用的 Catalog:
示例
sqlenv { "job.mode"=STREAMING "job.name"="cdc_mysql_to_mysql" "checkpoint.interval"="2000" "custom_parameters"="" } source { MySQL-CDC { parallelism = 1 catalog { factory = "MySQL" # 默认情况下,Catalog 将使用与连接器同名的选项 } username = "mysqluser" password = "mysqlpw" database-names = ["seatunnel-test"] table-pattern = "seatunnel-test\\.orders_\\d+" base-url = "jdbc:mysql://localhost:54508/seatunnel-test" } } sink { jdbc { url = "jdbc:mysql://localhost:4000/test" driver = "com.mysql.cj.jdbc.Driver" catalog { factory = "MySQL" username = "root" password = "" base-url = "jdbc:mysql://localhost:4000/test" table-pattern = "seatunnel-test2\\.orders_\\d+" } user = "root" password = "" query = "insert into sink(age, name) values(?,?)" } }
未来规划
目前,我们只实现了部分 Catalog。未来,我们计划扩大 Catalog 的实现范围,包括更多支持 Catalog 的连接器,这将使更多的连接器支持 SaveMode 和自动表格创建等功能。
Apache SeaTunnel 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台
仓库地址: https://github.com/apache/seatunnel
网址:https://seatunnel.apache.org/
Proposal:https://cwiki.apache.org/confluence/display/INCUBATOR/SeaTunnelProposal
Apache SeaTunnel 下载地址:https://seatunnel.apache.org/download
衷心欢迎更多人加入!
我们相信,在「Community Over Code」(社区大于代码)、「Open and Cooperation」(开放协作)、「Meritocracy」(精英管理)、以及「多样性与共识决策」等 The Apache Way 的指引下,我们将迎来更加多元化和包容的社区生态,共建开源精神带来的技术进步!
我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭,一起共建开源!
- 提交问题和建议:https://github.com/apache/seatunnel/issues
- 贡献代码: https://github.com/apache/seatunnel/pulls
- 订阅社区开发邮件列表 : dev-subscribe@seatunnel.apache.org
- 开发邮件列表:dev@seatunnel.apache.org
- 加入 Slack: https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1kcxzyrxz-lKcF3BAyzHEmpcc4OSaCjQ
- 关注 Twitter: https://twitter.com/ASFSeaTunnel
本文由 白鲸开源 提供发布支持!
关键词:
-
即时焦点:曝光!Apache SeaTunnel Catalog 功能设计为何能大大简化用户启用步骤?
![file](https: img2023 cnblogs com other 3195851 202306 3195851-2
来源: 即时焦点:曝光!Apache SeaTunnel Catalog 功能设计为何能大大简化用户启用步骤?
财政部:1-5月全国一般公共预算收入同比增长14.9% 一般公共预算支出同比增长5.8%
新美男记_关于新美男记简介
当前资讯!高考考生们这些“套路”骗局要当心:千万别信
环球观热点:小哥十米高跳江救人!老家张家界奖励10万元外加一套房
16针显卡供电接口闯大祸!第一次把电源烧了
全球实时:HDD硬盘被垄断 倪光南院士:SSD取代的时机到了
iPhone 15 Pro Max影像这下拉满了!看不到短板
景区观光车这价格,吃相太难看了
环球热讯:两部门印发文件部署高校毕业生档案转递接收工作
Kubernetes 1.27.2集群安装|每日热讯
单体服务,微服务服务的演变 & 各自优缺点
世界观焦点:javaScript基础语法之正则表达式
国网集安市供电公司:开展端午节前作风建设监督检查
世界要闻:比法拉利更抢眼!理想设计师亲自“泄密” W01设计手稿公布
苦中作乐!广东暴雨积水成河:有人屋内钓鱼 外卖车成水上摩托-当前滚动
快报:顾客遇账单刺客8碗米饭要90元 餐厅反驳:为了拍段子蹭流量
热到怀疑人生!今年“烧烤模式”来得早
每日视讯:RTX 4080显卡杀到8399元 铭瑄618全程价保:硬核装备开抢
FOreverLove什么意思中文
全球热门:远程办公篇-vscode远程SSH开发
和必应对话之mysql分区分表
天天日报丨位运算与集合
镜像,容器,容器数据卷,DockerFile 相关命令 使用总结 全球资讯
今日视点:胸部怎样才算不下垂_胸部怎样才能变大
全球今日讯!Facebook首席AI专家表示, 大语言模型只是昙花一现
好多明星去看了梅西比赛:陈妍希、苏醒等人都在现场_全球快播
世界看热讯:余承东:比亚迪是未来能活下来的巨头之一 华为能帮车企活下来
余承东:问界M5智能驾驶能力全球第一 超越特斯拉、国内外所有同行 天天快播
李一男造车梦“复活”自由家NV换标大乘V07已通过工信部申报
全球要闻:一口降温夏日必备!迷你可爱多冰淇淋官旗发车:每支不到1块钱
【天天速看料】邓一杰:黄金破1962,保守调仓,激进持仓!
当前头条:冬天适合在室内养什么植物_冬天室内养什么植物好 冬天适合室内种植的植物介绍
梅西ins发文感谢中国粉丝:开场81秒就进球 打破职业生涯记录 快看点
离谱!代驾设套碰瓷13名代驾同行:故意选土路蹭底盘 世界快消息
梅西直播被吐槽广告多?回应来了:纯聊天 没有带货_每日热议
苹果iPhone为何只有27W充电?原因可能有三 焦点速读
韩媒:韩国年轻人迷上中国App无法自拔 实在太好用了-全球讯息
速看:液冷概念股震荡走高 飞龙股份拉升封板
天天微头条丨CHAT-GPT初使用
唐源电气6月16日盘中跌幅达5%
男子突发奇想将甜瓜和西瓜嫁接 网友看完大笑:这是焊接_每日观察
环球观焦点:交通拥堵为何不禁私家车?这座一线城市要限电动自行车 只是试运行 专家吐槽
罕见!巨鸟撞碎玻璃卡在飞机舱,飞行员满脸血仍淡定驾驶……_全球今热点
热点!从0开始,精通Go语言Rest微服务架构和开发
Apache Spark教程_编程入门自学教程_菜鸟教程-免费教程分享
Qt+QtWebApp开发笔记(六):http服务器html实现静态相对路径调用第三方js文件
【环球聚看点】实力登场 汉马动力携四款动力产品亮相上海GPOWER 2023动力展
陕西加强养老服务设施规划建设新建城区 新建居住(小)区配建养老服务设施
员工没完成业绩被罚吃苦瓜 公司:激励团队 都是自愿的
最新消息:买2套到手23件:黑人好来超白茶牙膏套装5支39.9元
坦克300坐不住了 全新一代北京BJ40曝光 你会选谁?
环球观热点:RTX轻薄本怎么选?不妨看看这三款:13499元的华硕灵耀Pro14 2023无可挑剔
世界观察:维珍银河计划月底进行首次商务飞行:数百名旅客将上太空
车祸轻伤害要求赔偿多少
每日快看:MySQL索引优化与查询优化
直播源码搭建平台技术知识:实时语音识别字幕呈现功能
有没有类似天龙八部的游戏_类似天龙八部的网络游戏|当前报道
赤座茜出场_赤座茜
滴滴发布橙意保障计划:9成网约车司机月均抽成低于20%
私人山庄被网红闯入并造谣为鬼屋吓得房主不敢回了 网友:请严惩_热闻
梅西回应被迫“宅”酒店 酒店外的球迷太疯狂:感谢所有中国球迷 环球资讯
新资讯:问界M5智驾版交付 首位女车主还是兰博基尼、劳斯莱斯车主
两月没开电池报废不保修?极氪电池质保权益升级:砍掉不合理条约
prscrn键在惠普键盘上哪个位置(prscrn)
雪佛兰萨博班,出演1750部电影的明星车,磁力悬挂控制系统-天天短讯
视频编码耗时长、编码帧发送失败…DVPP视频编码问题典型案例分析
形式化分析之BAN逻辑
什么是SEO
当前滚动:国家发展改革委:统调电厂存煤达到历史新高 今年迎峰度夏电力保供有坚实的基础
全球微头条丨国家发改委:今年迎峰度夏电力保供有坚实基础
每日简讯:盐碱地治理之“沽源方案”
真叫“翔龙”了 哈弗全新插混SUV亮相:形似老卫士、搭载Hi4电四驱|世界热闻
女生摆摊卖鸡脚边卖边吃 网友:吃饱了收摊回家
二代骁龙8平板来了:后置双摄、全金属机身设计-世界关注
Win11新文件管理器砍掉部分功能!微软:大众用户不常用 天天新视野
全球讯息:供应链大佬发话!博世中国总裁:汽车企业做手机是吃饱了没事干
蓝色协议职业推荐 最强职业选择攻略[多图]
新消息丨驻马店市西平县大宗秋粮作物播种基本结束
珊子直播(珊子)_世界报道
奔驰新GLA怎么样及奥迪RS5怎么样
天天观点:在南极尿尿会被冻住吗?
特斯拉开启大促:Model 3后轮驱动版补贴8千元 贷款利率优惠 全球聚焦
权威媒体:不带偏见去看 中国相机镜头已开始超越日本厂商_世界最新
Win11+鸿蒙 618组队出击 华为MateBook E系列二合一笔记本实现年轻人Office自由
别以赚钱为目标 及时行乐!张朝阳对年轻人喊话:在网上做个体职业者挺好
2023年6月郑州人才公寓申请时间具体什么时候开始?
世界球精选!真人版电影《芭比》确认引进 北美于7月21日上映
Spring Boot 实现定时任务动态管理,太爽了! 头条
当前讯息:【一步步开发AI运动小程序】十二、自定义一个运动分析器,实现计时计数01
微动态丨各地计划生育宣传标语大全_最新计划生育宣传标语口号大全
男生中考忘涂机读卡妈妈崩溃大哭 让人心疼:网友疑惑这怎么会忘? 新要闻
零刻GTR7迷你主机618大促:R7 7840HS只要2680元
斐济群岛发生7.2级地震 预计不会发生海啸 新资讯
Bungie程序员批暴雪太懒|焦点简讯
焦点速读:不寒而栗!英美团队称创造出全球首个合成人类胚胎模型 无需精子和卵子
联想小新Pro 2023酷睿版直降700元 32GB内存超大杯5599元
世界速读:有多少中国人 正假冒俄罗斯人直播带货?
小米14提前发:采用华星极窄边框直屏 颜值胜过iPhone 14 Pro 环球动态
今日看点:100个物联网项目(基于ESP32)1ESP32的基础