跳到主要内容
版本：4.x

TapData Community 更新日志

适用版本 社区版功能TapData Community 是一个开源的数据集成平台，提供基础的数据同步和转换功能，可通过 Docker 一键部署，帮助您快速探索和实施数据集成项目。随着项目或企业发展，还可以平滑升级至 TapData Cloud 或 TapData Enterprise，以获得更多高级功能或服务支持。

本文介绍 TapData Community 近期版本的更新日志，更多早期版本，请参见 GitHub Release 页面。

3.27.0​

新增功能​

功能优化​

  • 优化模型展示效果，调整主键、外键和唯一索引的展示方式，提升模型可读性与编辑效率

问题修复​

  • 修复多 mongos 节点场景下连接请求未均匀分发的问题，消除潜在的单点性能瓶颈

3.26.0​

新增功能​

  • 在 PostgreSQL 到 SQL Server 的同步场景中，新增对默认值和外键的同步支持

3.25.0​

新增功能​

  • MySQL 到 MySQL、PostgreSQL 到 PostgreSQL 的数据同步场景下，新增对字段默认值、自增列和外键约束同步的支持，保障数据结构一致性
  • 支持在主从合并节点后继续连接其他处理节点的能力（支持增强 JS 节点），提高任务编排的灵活性

功能优化​

  • 优化 Kafka 连接器能力
  • 优化了任务里程碑的展示效果

问题修复​

  • 修复 MongoDB 分片配置无法自动同步的问题
  • 修复 MongoDB capped collection 无法正常同步的问题
  • 修复关联键变更功能中，合并内嵌数组数据异常的问题

3.24.0​

  • 修复 主从合并任务中，主表关联条件变更后，目标数据出现多余的 UPDATE 前记录的问题

3.23.0​

新增功能​

  • 支持在配置主从合并节点时为无主键表定义主键，确保数据同步一致性和提高合并效率

问题修复​

  • 修复主从合并中多层级关联键的问题，避免子表数据未正确合并

3.22.0​

功能优化​

  • 优化软件版本信息的获取方式，避免页面缓存导致版本信息显示与实际不一致

问题修复​

  • 修复心跳任务启动异常导致数据同步任务无法正常启动的问题

3.21.0​

问题修复​

  • 修复管理员用户配置的 Webhook 告警无法获取到所有告警数据的问题

3.20.0​

功能优化​

  • 任务监控页面新增日志文件下载功能，便于定位和排查故障
  • 引擎启动优化，无需 MongoDB 配置即可完成启动
  • 错误码覆盖范围进一步扩展，完善相关解决方案提示信息

问题修复​

  • 修复任务仅同步主键表且通过正则匹配同步时，新增无主键表后任务日志持续记录“发现新表”的问题

3.19.0​

功能优化​

  • 优化和新增引擎的错误码，帮助用户快速定位异常原因

问题修复​

  • 修复将 MongoDB 作为中间库配置 SSL 连接时，系统无法启动的问题
  • 修复包含多字段联合主键的 Oracle 表同步至 GaussDB（DWS）时，在增量同步阶段数据未更新到目标的问题
  • 修复同步数据至 MySQL 时，部分表同步完成后，任务误报缺失建表权限的问题

3.18.0​

功能优化​

  • 复制任务表名选择时，支持一键复制所有已选择表名，提升操作效率
  • 优化内置错误码覆盖范围，提升问题定位和诊断能力
  • 优化任务执行过程中的里程碑展示和逻辑
  • 脚本处理节点的日志支持拆分显示，提升日志查看体验

问题修复​

  • 修复因 MongoDB 索引未被正确加载，导致在加载 Schema 时无法获取索引的问题

3.17.0​

功能优化​

  • 优化内置错误码覆盖范围，提升问题快速定位和诊断能力

问题修复​

  • 修复编辑页面重置任务失败后，保存任务时提示“当前状态不允许”的问题
  • 修复复制任务中删除正在同步的表后重新添加时，无法正常恢复同步的问题

3.16.0​

新增功能​

  • 新增对 Elasticsearch 数据源的 HTTPS 连接支持，提升数据传输的安全性，满足更多数据安全合规要求
  • 新增通过新增哈希字段（默认名称为 _no_pk_hash）的方式支持无主键表的同步，保障无主键场景下的数据一致性和同步稳定性

功能优化​

  • 增强 Row Filter 节点的数据筛选逻辑，确保当数据状态从符合条件变为不符合条件时，目标数据能同步更新以保持一致性

问题修复​

  • 修复全量同步详情中无法显示已完成、同步中和未开始的所有表的问题
  • 修复耗时及里程碑统计不准确的问题
  • 修复 DNS 解析失败时，MongoDB Atlas 无法正常工作的情况

3.15.0​

新增功能​

  • TiDB 已通过 TapData 认证测试流程，升级为认证级别数据源，提供更丰富的特性和更高的生产稳定性

功能优化​

  • 优化处理节点的缓存管理逻辑，增强资源使用效率，提升任务执行速度

问题修复​

  • 修复开启心跳表后，任务表显示无延迟但数据未同步的问题
  • 修复设置标签时无法查看所有标签的问题
  • 修复任务重试开始时间显示为 1970 年的问题
  • 修复 Elasticsearch 作为目标库时，创建索引失败的问题

3.14.0​

新增功能​

  • Doris、ClickHouse、PostgreSQL、MongoDB 已通过 TapData 认证测试流程，升级为 认证级别数据源，提供更丰富的特性和更高的生产稳定性
  • PostgreSQL 作为源数据时，支持在任务设置中指定增量数据的时间点

功能优化​

  • Elasticsearch 数据源在任务配置时，支持选择写入更新策略
  • 数据复制任务源节点的表选择范围默认为主键表，并增加提示文案

问题修复​

  • 修复新任务开启心跳表后，任务进入增量阶段时出现异常的问题
  • 修复任务卡在全量阶段，重置后无法进入增量阶段的问题

3.13.0​

新增功能​

  • MySQL 已通过 TapData 认证测试流程，升级为 认证级别数据源，提供更丰富的特性和更高的生产稳定性

问题修复​

  • 修复开启建表同步索引开关后普通索引未正常同步的问题，确保数据同步完整性

3.12.0​

新增功能​

  • Dameng 已通过 TapData 认证测试流程，升级为 认证级别数据源，提供更丰富的特性和更高的生产稳定性
  • 对于 PostgreSQL 数据源，支持通过 walminer 插件进行增量数据同步，满足更多场景
  • 数据复制任务支持多表同时读取，提升数据处理的并行能力和任务执行效率

功能优化​

  • 全面提升数据同步性能
  • 优化菜单入口布局结构
  • 优化报错提示和高危操作风险提示
  • 对于不支持 hash 校验的数据源，默认禁用 hash 校验功能
  • 全量任务同步完成后，再次启动任务将重新全量同步，以确保数据一致性

问题修复​

  • 修复任务完成后部分任务监控指标丢失的问题
  • 修复中间库缺少必要索引导致的查询效率问题，减少了数据扫描量
  • 修复数据校验下载异常数据时选择“仅显示差异字段”却下载了全部字段的问题
  • 修复在集群管理中修改引擎名称后任务设置仍显示旧名称的问题
  • 修复任务编辑时可能会卡在模型生成中的问题，提升了任务编辑体验
  • 修复数据复制任务在增量阶段任务停止后再启动时，全量完成时间显示不正确的问题
  • 修复 TDengine 写入超级表时，字段较多引发的 SQL 语句长度超限的问题
  • 修复 TDengine 为源的数据转换任务中，表名含中文时任务报错的问题
  • 修复在 PostgreSQL 数据源上运行挖掘任务时可能出现的异常情况
  • 修复 MongoDB 到 Kafka 的数据转换任务在增量阶段的特定异常问题
  • 修复数据转换任务中，MongoDB oplog 同步到 Kafka 时模型中多了 _id 字段的问题
  • 修复 MongoDB oplog 数据复制任务在同步过程中无法正常复制的问题

3.11.0​

新增功能​

  • 在数据转换任务配置阶段，源节点模型预览区域支持单表模型的重新加载，提高加载效率
  • 新增时间探测功能，自动探测引擎部署服务器和数据库服务器的时间差，并在任务监控页面展示

功能优化​

  • 用户定义的字段业务描述可直接展示在表样例数据的列名位置

问题修复​

  • 修复 MongoDB 数据库 cursor 超时导致任务无法正常全量同步的问题
  • 修复源节点数据过滤设置中自定义 SQL 过滤开关无法打开的问题

3.10.0​

新增功能​

  • 数据复制任务新增多表合并节点，可对同一数据库中的多个表执行合并操作（UNION），可用于整合和分析数据等场景
  • Doris 数据源支持无证书的 HTTPS 连接方式
  • MySQL、Oracle、OpenGauss、SQL Server、PostgreSQL 数据源，支持任务配置时，在节点的高级配置中启用 Hash 分片功能，可大幅提升大表的全量数据同步速度
  • 新增 VastBase 数据源，成熟度为 Beta，进一步丰富数据源种类

功能优化​

  • 优化时区类字段的同步逻辑

问题修复​

  • 修复源端 MySQL 不支持增量时，任务报错信息不明确且错误码的详细信息中缺少相关提示的问题
  • 修复任务警告的警报格式不正确的问题
  • 修复导入的任务显示有运行记录，且当前运行记录状态显示为删除中的问题
  • 修复任务目标表关联键设置后，编辑任务时自动推演模型错误地修改关联键的问题
  • 修复 Python 节点移除字段可能失败的问题
  • 修复在主从合并操作中，删除主节点后，主从合并节点配置异常导致任务错误的问题
  • 修复在引擎服务器未设置 UTF 字符编码的场景下，如果源端发生 DDL，导致任务的中文节点名称出现乱码的问题

3.9.0​

新增功能​

  • 创建共享缓存新增使用共享挖掘按钮，简化缓存任务配置，提升缓存共享的效率和灵活性

功能优化​

  • ElasticSearch 数据源添加字段限制配置参数
  • MongoDB 数据源开启 preimage 能力时，优化异常处理逻辑

问题修复​

  • 修复任务事件统计指标上报时偶现丢失部分指标的问题
  • 修复共享缓存任务未执行共享挖掘时，如果数据没有变化，在重启或升级引擎时可能因超出日志时间窗口而导致任务错误的问题
  • 修复在写入模式为更新子文档的场景下，源表的 unset 操作可能导致任务报错的问题
  • 修复 MongoDB 与 MySQL 执行 Join 合并场景下，MongoDB 集合中包含时间类型可能引发报错的问题
  • 修复在主从合并场景下，增量更新事件意外执行反查的问题
  • 修复主从合并节点修改列时的冲突报错问题

3.8.0​

功能优化​

  • 优化任务的表模型主键和索引的展示方式
  • 优化模型推演逻辑，支持在引擎直接进行模型推演

问题修复​

  • 修复数据源异常处理存在忽略部分异常的问题
  • 修复时间字段做关联键的聚合任务，反查不到数据的问题
  • 修复挖掘任务延迟时间异常的问题
  • 修复 MySQL 作为源时，大表初始化同步会占用大量数据库内存的问题

3.7.0​

新增功能​

  • 新增 Mock Source 和 Mock Target 数据源，可用于数据迁移测试场景

功能优化​

  • 优化启动任务时的跳过错误的交互逻辑

问题修复​

  • 修复任务运行模型与配置模型不一致的问题
  • 修复过滤源端数据后，任务事件统计不准确的问题
  • 修复 Oracle 和 PostgreSQL 同步场景下，时区处理异常的问题
  • 修复连接列表加载速度过慢的问题
  • 修复心跳任务重置失败时，可能导致相关联任务无法启动的问题