pgstream

开发框架 1.2k 92 Go 上架 2026-11-10 在 GitHub 打开

pgstream是一个开源 CDC 命令行工具和库，它通过对任何提供的目标进行 DDL 更改来提供 Postgres 复制支持。特性：模式变更跟踪和 DDL 变更复制支持多个开箱即用的目标 El...

#数据库相关

项目信息

所有者: xataio
Star: 1.2k
Fork: 92
开源协议: —
主要语言: Go
发布时间: 2024-04-10
最近更新: 2026-10-30

项目更新

Nightly build预发布2026-10-30
每日自动构建产物，基于 main 分支（95c10b6）。内容不稳定，仅供测试使用。
v1.5.02026-09-10
pgstream 这版把脱敏能力往前推了一大截。数组列终于能套转换规则了——此前只要表里出现一个 varchar(500)[] 这类列，整套规则都会被校验挡下，现在规则逐元素生效，arrayoptions 可控制输出形态。新增两个转换器：fpeff1 用保格式加密处理手机号、邮箱和验证码，密文保持原格式且唯一性不变；lookupchoice 直接用实时表里的值替换原值。Kafka 源端与目标端支持 SASL 认证（plain、scram-sha-256、scram-sha-512）。pg-to-pg 架构快照的索引恢复改为并行，由 indexrestoreworkers 调节，短暂的 pgrestore 失败会重试而不是直接中断快照。转换器接纳的列类型也更宽：数值类支持 numeric，greenmask_choice 支持自定义枚举，template 放开类型限制。修复方面，数据异常不再反复重试并会点名出错列，数组元素按目录类型映射解码，枚举标签以字符串返回，模板快照值改用 pgx 文本编码。
v1.4.22026-09-02
pgstream v1.4.2 修复了三处实际问题。DDL 复制现在按原库中发起时的 schema 执行，之前不带 schema 限定的 CREATE TABLE 会在目标端落进 public，这版起归位正确，前提是上游 search path 被正确回放。类型方面补上了 timetz 支持，用到带时区时间列的管道不用再手动绕开。pgstream check 在连接串里未指定数据库时，CREATEROLE 检查会误报 database "<role>" does not exist，已修好。另一个比较隐蔽的坑是：从连接串中去掉数据库名，会连带把对应用户删掉——走 pg_restore --create 的恢复路径时同样如此，现在两者都已隔离。此外例行升级了一批依赖，含 OpenTelemetry、sonic、tink-go、testcontainers 与 ClickHouse 镜像等。
v1.4.12026-08-19
pgstream v1.4.1 修掉了两个影响复制链路的硬伤。一是 Postgres 目标端的 bytea 值此前会被写坏：现在写入前先解码 wal2json 输出的十六进制格式，二进制数据能正确落库。二是分区表快照恢复后索引与主键会缺失：恢复 ALTER INDEX ... ATTACH PARTITION 及关联索引、约束后，分区表在快照之后仍能持续复制，不会再中断。构建同步升到 Go 1.26.6，修掉标准库与依赖模块的若干 CVE；OpenTelemetry、testcontainers-go、ClickHouse 等依赖也做了例行升级。
v1.4.02026-08-12
pgstream 本版新增 Prometheus 抓取端点：打开 instrumentation.metrics.prometheus.enabled 后，健康检查服务会直接暴露 /metrics，指标可就地采集，不必再架中间层。pg-to-pg 的 schema 快照与 DDL 复制现在支持 includeobjecttypes / excludeobjecttypes 按对象类型筛选，快照和复制可各自配置；一条涉及多种对象的语句（比如带主键的 CREATE TABLE）只有在其触及的对象全部被排除时才会跳过。转换规则改为运行前对照唯一索引校验，不再加载到一半才报错。目标端连接池上限也改为可配置。Webhook 投递会对瞬时故障重试，持续失败的事件不再被静默丢弃，并补上了幂等头。另外修了一个 DDL 解析 bug——它会悄悄吞掉 RENAME COLUMN、DROP COLUMN 这类架构变更，以及语句结束符被误认成列名的问题；快照恢复角色时新增 CREATEROLE 预检。
v1.3.12026-08-04
pgstream v1.3.1 主要围绕快照期间的结构变更做了加固。数据快照现在按结构快照所记录的列来读取，快照进行中源库新增列不会再让加载失败；中途若发生结构漂移，导出时会给出警告，若表原本捕获的列已被删除则直接报错。另新增一项前置检查：快照需要在目标端创建数据库时，先确认账号拥有 CREATEDB 权限。文档补充了 DDL 复制可能把权限从不可信源带到目标端的安全提示，同时更新了少量依赖。
v1.3.02026-07-30
pgstream v1.3.0 发布，含两项改动：其一，为「从只读副本执行快照 + 流式同步」补充了测试与文档，这一组合此前缺乏明确的使用指引和覆盖；其二，修复了空字符串被错误编码为 null 字节的问题——对于依赖空串语义的同步场景，这可能造成数据写偏，升级后可消除该隐患。
v1.2.52026-07-28
pgstream 1.2.5 是一个以修复为主的小版本，重点解决了多 worker 快照场景下的几处隐患。快照与 JSON 模板转换器此前会互相破坏各自的状态，导致随机生成器失效；现在共享 greenmask funcmap 的模板会被统一池化，问题随之消除。快照失败也不再以 {} 这样的空对象形式回显，而是按错误级别记入日志；快照状态上报增加了重试，重试仍失败时会明确报出可能的数据丢失。恢复失败的输出会连同详细信息一并返回，其中的凭据已做脱敏。另外，开启 ignoresenderrors 静默丢弃时，新增了丢弃批次的计数指标，启动时也会给出提醒——此前这些数据是悄悄消失的，排查同步不一致时很难发现。集成测试和 Makefile 中的 golangci-lint 也做了对齐，本地运行 make lint 会升级到 v2.10.1，可能报出旧版本未覆盖的问题。升级无需改动任何配置。
v1.2.42026-07-27
pgstream v1.2.4 修复了复制 DELETE 的两处问题。此前，主键为自定义 enum 类型的表在删除操作复制时会直接失败，现在已能正常处理；delete identity 的识别范围也从普通 enum 扩展到了 enum 数组以及基于 enum 定义的 domain，此前这几类都会被漏掉。另一项修复针对批处理：某个查询失败时，连带拖垮同一批次的情况不会再发生，写入其他无关表的数据得以保住。这一改动对使用者影响很小——无需改动任何配置，非 enum 身份列的表所生成的 SQL 也保持原样。
v1.2.32026-07-27
pgstream v1.2.3 修了三个影响实际同步的问题。最要紧的是，带自定义枚举列的表此前批量入库会直接失败，现在能正常复制；用 primarykey 做分区时键值未转义，会让不同行落进同一条消息，也已转义处理。预检方面，wal2json 和 replicaidentity 两项检查对配置正确的源仍会误报失败，现已修正；同时新增 --source 参数，可只跑源端检查，并会校验 PostgreSQL 主版本是否受支持。另外还有一批依赖升级。