多源多表写入、数据格式增强,SeaTunnel 2.3.11 重磅更新来了!


2.3.11

我们很高兴地宣布 Apache SeaTunnel 2.3.11 正式发布!作为一个专注于高性能、可扩展的数据集成平台,SeaTunnel 始终致力于为开发者和数据工程团队提供更强大、更灵活的异构数据处理能力。本次 2.3.11 版本在稳定性、易用性、连接器生态、数据转换能力以及引擎层面都进行了重要增强。无论是支持更多新型数据源与目标端、多表写入、复杂格式支持,还是对关键 Bug 的修复与文档优化,本次更新都体现了社区对用户反馈的快速响应和持续进化的能力。下面让我们一起来详细了解 2.3.11 的亮点内容。

功能更新 Highlights

新增连接器与功能增强

  • HTTP Sink 支持批量写入:实现了 HTTP Sink 的批量写入功能,提高了数据写入效率。

  • 支持多表写入功能

    • ClickHouse:新增支持多表写入功能,提升了数据同步的灵活性。
    • TDengine:新增支持多表写入功能,增强了数据处理能力。
    • DataHub:新增支持多表写入功能,扩展了数据集成场景。
  • GraphQL Connector:新增支持 GraphQL 连接器,丰富了数据源类型。

  • Elasticsearch Source 支持 PIT(Point-in-Time):增强了 Elasticsearch 数据源的查询能力。

  • 支持 CSV 文件中不同列顺序的提取:提升了文件数据处理的灵活性。

  • 新增 Apache Cloudberry 支持:扩展了数据源的多样性。

  • 新增 Aerospike Sink Connector:丰富了数据写入目标。

  • 新增 Helm 测试用例:增强了部署测试能力。

配置与参数优化

  • 新增 end_timestamp 参数:在时间戳起始模式中添加了 end_timestamp 参数,增强了数据读取的灵活性。
  • 支持占位符替换:HTTP Connector 支持参数占位符替换,提升了配置的灵活性。
  • 新增远程主机验证选项:FTP 数据通道新增远程主机验证选项,增强了安全性。
  • 优化变量处理的健壮性:改进了 stop-seatunnel-cluster.sh 脚本中变量处理的健壮性。
  • 移除无用配置项:删除了 Iceberg Sink 中无用的 iceberg.table.config 配置项。
  • 优化 JDBC 方言选择逻辑:提升了 JDBC 连接器的兼容性。
  • 支持定义 Sink 列类型:Transform 支持定义 Sink 列类型,增强了数据转换能力。
  • 支持 SQL Transform 中的布尔类型:提升了 SQL 转换的表达能力。
  • 支持 Iceberg Source 中的过滤条件:增强了数据读取的灵活性。
  • 支持源/汇状态类的 serialVersionUID 检查脚本:提升了状态管理的可靠性。
  • 支持 Web UI 的基本认证:增强了 Web UI 的安全性。
  • 支持 Rest-API v2 的 HTTPS 协议:提升了 API 通信的安全性。
  • 新增任务运行管理页面的异常信息格式化:优化了异常信息的展示。
  • 优化 JDBC 的字符集分割算法:提升了数据读取的准确性。
  • 新增 row_delimiter 选项:Text File Sink 新增 row_delimiter选项,增强了文件写入的灵活性。

Bug 修复

  • 修复 SeaTunnelClient 无法正常退出的问题:增强了客户端的稳定性。
  • 修复 Oracle-CDC 重命名 DDL 事件缺失列类型的问题:提升了数据同步的准确性。
  • 修复 PostgreSQL Sink 尝试更新唯一键的问题:增强了数据写入的稳定性。
  • 修复 Hive 客户端线程不安全的问题:提升了多线程环境下的可靠性。
  • 修复 OceanBase MySQL JDBC Sink 创建语句错误的问题:增强了兼容性。
  • 修复 Kafka 枚举器分配分片时的空指针异常:提升了数据读取的稳定性。
  • 修复 JSON 输出中科学计数法表示的十进制数问题:确保了数据的准确性。
  • 修复 Parquet Int32 转换错误的问题:提升了数据类型处理的准确性。
  • 修复 CSV 格式分隔符的问题:增强了文件解析的稳定性。
  • 修复 MaxCompute Sink 写入日期小于实际日期的问题:确保了数据写入的准确性。
  • 修复 MongoDB 中 Long 类型无法处理科学计数法字符串的问题:提升了数据类型兼容性。
  • 修复 Elasticsearch 添加列事件的问题:增强了数据同步的稳定性。
  • 修复 SQL Server 在数据库名称包含点时创建表的问题:提升了数据库兼容性。
  • 修复 DateUtils 无法解析带本地时区的日期时间字符串的问题:确保了时间解析的准确性。
  • 修复 JDBC 默认连接参数无效的问题:增强了连接配置的可靠性。
  • 修复 Redis 写入失败但任务未失败的问题:提升了错误处理的准确性。

文档更新

  • 新增中文文档

    • MySQL-CDC Connector
    • MongoDB-CDC Connector
    • HiveJdbc Connector
    • Jira Connector
    • Cloudberry Connector
    • GitHub Connector
  • 文档格式与内容优化

    • 修复了 Markdown 格式问题,统一了标题格式,删除了无效的空格和重复内容。
    • 调整了 explode  trim 系列 SQL 函数的描述,提升了文档的准确性。
    • 更新了 Kafka 文档中的 Kerberos 部分,增强了安全配置的指导性。
    • 修复了死链接,提升了文档的可用性。

致谢贡献者

感谢@zhangshenghang对本次版本发布的指导,以及以下贡献者对本次发布的代码提交、文档撰写、问题反馈做出的宝贵贡献(按用户名排序):

也感谢所有参与代码审核、功能测试、文档翻译和社区讨论的开发者、用户和贡献者!

获取方式

  • 镜像下载:https://seatunnel.apache.org/download
  • GitHub Release 页面:SeaTunnel 2.3.11
  • Maven 依赖更新:Maven Central

相關推薦

2024-10-16

Apache SeaTunnel 2.3.8 版本现已正式发布!此次版本后,用户将可以使用期待已久的Docker镜像,还可以体验Job级别日志功能,以及其他更新优化的功能。本文将详细介绍 Apache SeaTunnel 2.3.8 版本中的关键更新内容,欢迎更多开发者和

2024-08-08

Apache SeaTunnel 2.3.6 版本于近日正式发布,社区期待的 SeaTunnel Zeta Master/Worker 新架构、事件通知机制、支持动态编译的transform等新功能和新能力在这次版本中都有了全面的更新,并添加了首个向量数据库 Milvus。此外,本版本还进

2023-03-30

SeaTunnel 2.3.1 版本于近日发布,这是一次备受瞩目的重磅发布,有多项重要功能更新和优化。 在编程使用体验层面上,新版本提升了 SeaTunnel Zeta 稳定性,并提升了 CI/CD 的稳定性;在连接器层面上,新版本实现了 7+ 个新连接器

2024-07-02

详情。 WhaleTunnel WhaleTunnel是基于白鲸开源主导的Apache SeaTunnel之上精心打磨的商业级的数据集成工具,拥有数据传输速度快、准确率高、稳定性强等技术特点,帮助企业完成内部EtLT中数据集成EtL部分,支持百余种连接器类型,

2023-01-06

️ Star · 照亮开源之路 https://github.com/apache/incubator-seatunnel 版本发布 今天,Apache SeaTunnel(incubating) 正式推出 2.3.0 正式版本,并正式发布自己的核心同步引擎 Zeta!此外,SeaTunnel 2.3.0 还带来了许多大家期待已久的新特性,

2023-08-30

,聊聊 AI 大模型与底层技术 >>> 时隔两个月, Apache SeaTunnel 终于迎来大版本更新。此次发布的 2.3.3 版本在功能和性能上均有较大优化改进,其中大家期待已久的 CDC Schema evolution(DDL 变更同步)、主键 Split 拆分、JDBC Sink 自

2023-08-11

下的查询性能。其中「基数保持 JOIN 表的裁剪」功能在较多表的星型模型(比如 SSB)和雪花模型(TPC-H)中会有用武之地,当 JOIN 的表存在主键或者外键约束,且可以满足基数保持 JOIN 表裁剪的条件,一些经过裁剪后的 JOIN 的性能能

2023-09-15

thub.com/devlive-community/openai-java-sdk 该版本着重支持 Apache Seatunnel 作为流水线支持框架 DataCap 已发布 发布版本 发布时间 1.14.0 2023-09-14 General 修复数据源检查任务返回空的问题 添加验证码 支持登

2025-04-02

亲爱的 Apache SeaTunnel 社区小伙伴们!我们关注到近日由@zhangshenghang担任发版经理,Apache SeaTunnel 2.3.10 版本已经正式发布!本次版本更新聚焦于部分连接器功能优化及增强、配置项完善和问题修复,进一步提升了数据同步、处理的

2024-08-01

持 Online 在线表单开发,支持单表、树表、一对一、一对多表单,可快速开发业务,无需部署及重启服务等。 支持多种数据库,包括 MySQL、PostgreSQL、达梦等,可灵活切换。 支持 Flowable7 工作流,包括流程设计、自定义表单

2024-01-25

更多参数和hash策略 14 ntp 支持设置timeout 15 writers支持写入https的后端 16 exec插件 支持正则匹配 感谢各位贡献者 @c88888  @katepangLiu  @tanxiao1990 @liuqian1990  @Meepoljdx @nondevops   @noovertime7 @shardingH

2024-07-05

态支持 :在3.3版本中,StarRocks 支持对 ORC 和 Text 文件的写入能力。 单 sink 算子的写入性能达到了 Trino 的 2 倍。 Iceberg 生态支持 :StarRocks 3.3 大幅重构了 Iceberg 元数据查询模块,通过分布式元数据读取提升对 Avro 格式文件的解

2023-12-21

p 包含丰富的 api: 1:基于注解,映射数据库; 2:支持多表 join 和返回; 3:api 采用 lambda 和 stream 流式设计; 4:内置分页以及超强的 sql 优化功能; 5:稳定且性能极优; 6:轻量级封装 mybatis,几乎没有侵入; 7:api 丰

2022-11-06

自细分领域的TOP1。Pulsar、Doris、StarRocks、DolphinScheduler、SeaTunnel等一众中国开源项目也表现出高热力趋势。把解决用户痛点作为核心竞争力,是这些优秀开源项目的共同特征,这一特征保证它们与时俱进,成为热力趋势中的“常