zgty/zt-dsc
9
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
771 Commits 2 Branches 0 Tags
20524797289c05a1f3285c73e186dcd1fee0e0c8
Commit Graph

76 Commits

Author SHA1 Message Date
chenbowen
48660f75cf Merge branch 'dev' into test 2025-12-23 17:53:25 +08:00
chenbowen
5843e2eb7a Merge remote-tracking branch 'refs/remotes/base-version/main' into dev 2025-12-23 17:52:55 +08:00
chenbowen
7b1991cc1c 1. 修复 get 请求时，转义后的字符串解析签名会存在问题 2025-12-23 16:36:06 +08:00
wencai he
f0b1ec7ca3 Merge branch 'dev' into 'test' 
Dev

See merge request jygk/dsc!12
 2025-12-22 03:05:45 +00:00
hewencai
0bdded447a update：调整数据同步用户-部门，用户-岗位同步顺序 2025-12-22 11:03:15 +08:00
hewencai
cea886c9b2 update：调整数据同步用户-部门，用户-岗位同步顺序 2025-12-22 09:51:05 +08:00
wencai he
e6a0eef084 Merge branch 'dev' into 'test' 
Dev

See merge request jygk/dsc!11
 2025-12-17 03:32:22 +00:00
hewencai
0b8e200aa1 Merge remote-tracking branch 'origin/dev' into dev 2025-12-17 11:32:12 +08:00
hewencai
738c82b000 update：调整数据同步生产topic生成器 2025-12-17 11:31:57 +08:00
chenbowen
498e0b864a Merge branch 'dev' into test 2025-12-16 21:36:52 +08:00
chenbowen
12157d5dcb 1. 修复 databus 在多层嵌套的 json 报文，签名存在异常的 bug 2025-12-16 21:35:08 +08:00
hewencai
fcc32fa2d8 Merge remote-tracking branch 'ztcloud/main' into main-ztcloud 2025-12-16 16:36:56 +08:00
hewencai
8782631eaa update：数据同步分发机构岗位绑定关系 2025-12-16 16:36:30 +08:00
wencai he
59ddd41590 Merge branch 'dev' into 'test' 
update：数据同步分发机构岗位绑定关系

See merge request jygk/dsc!9
 2025-12-16 04:03:41 +00:00
hewencai
ba1bc1fb6f update：数据同步分发机构岗位绑定关系 2025-12-16 12:03:15 +08:00
chenbowen
b8406a907b Merge branch 'dev' into test 2025-12-15 19:26:27 +08:00
chenbowen
2323ee5c3b 1. 新增生成自有组织 CODE，同步其他系统额外生成编码映射关系 2025-12-15 19:25:19 +08:00
chenbowen
27bf25fdb0 Merge branch 'dev' into test 2025-12-14 13:53:20 +08:00
chenbowen
8d25f4224b 1. 临时去除掉硬性的 databus 签名校验 2025-12-14 13:52:14 +08:00
chenbowen
4fc05fc094 Merge branch 'dev' into test 2025-12-12 10:14:18 +08:00
chenbowen
cae0b9e4af 1. 新增 api 绑定客户凭证进行权限校验 
2. 去除 api 定义的缓存策略
3. 新增短信渠道
4. 新增用户信息模糊查询
5. 修复全局的单元测试
 2025-12-12 10:03:10 +08:00
chenbowen
39a82b6537 Merge branch 'dev' into test 
# Conflicts:
#	zt-module-databus/zt-module-databus-server/src/main/resources/application-dev.yml
 2025-12-09 16:25:53 +08:00
chenbowen
29e0c7da14 1. 新增 api 绑定客户凭证进行权限校验 2025-12-09 16:24:17 +08:00
chenbowen
b368a4e6d5 Merge branch 'dev' into test 2025-12-05 09:05:08 +08:00
chenbowen
52a0109960 临时关闭签名校验 2025-12-05 09:04:02 +08:00
hewencai
25978ad4b9 fix:还原databus端口配置 2025-12-04 15:49:46 +08:00
hewencai
ffc7d0247d refactor(databus): 代码审查修复和TODO完成 
修复硬编码配置：
- 修改日志路径为环境变量：${LOG_PATH:./logs}/${spring.application.name}.log
- 修改 RocketMQ 地址为环境变量：${ROCKETMQ_NAME_SERVER:172.16.46.63:30876}
- 还原 Nacos namespace 从 hwc 到 dev

完成 TODO 功能：
- TODO #1: 实现死信重试逻辑（重新投递消息到 MQ）
- TODO #2: 实现日志重试逻辑（根据事件记录重新推送）
- TODO #3: 实现全量同步触发（创建任务并异步执行）
- TODO #4: 实现事件 ID 查询（通过 eventType 查询事件定义）

涉及文件：
- pom.xml: 还原 Nacos namespace 到 dev
- DatabusSyncDeadLetterServiceImpl: 实现死信重试
- DatabusSyncLogServiceImpl: 实现日志重试
- DatabusSyncSubscriptionServiceImpl: 实现全量同步触发
- DatabusEventPublisherImpl: 实现事件 ID 查询
- application-*.yml/yaml: 修复硬编码配置

Ref: 代码审查报告
 2025-12-04 15:49:46 +08:00
hewencai
6ac4a356cd fix(databus): 修复客户端消息处理和防止消息循环 
1. 修复消息格式不匹配问题
   - 增量消息：兼容 SyncMessage 格式，从 dataSnapshot 字段反序列化数据
   - 批量消息：添加 getDataType() 方法获取泛型类型，正确转换 JSONObject

2. 防止消息循环
   - 添加 zt.databus.change.producer.enabled 配置项
   - 客户端禁用变更消息发送，避免 客户端写入 → 发送变更 → 循环

3. 修复 Feign 客户端注入
   - 在 RpcConfiguration 中添加 DeptApi、PostApi
   - 确保客户端能通过 Feign 调用本地 system-server API

相关文件：
- DatabusClientConsumer.java: 修复消息解析逻辑
- BatchSyncEventHandler.java: 添加 getDataType() 方法
- DatabusChangeProducer.java: 添加 enabled 开关
- RpcConfiguration.java: 启用 DeptApi/PostApi Feign 客户端

Ref: 修复 ClassCastException 和消息循环问题
 2025-12-04 15:49:45 +08:00
hewencai
bd90ec9d70 feat(databus): 完成阶段四-DataBus Server完整功能 
- 补充缺失的 API 类（DatabusMessage、DatabusBatchMessage、DatabusEventType）
- 新增变更消息消费者（3个：部门、用户、岗位）
- 新增数据提供者（3个：部门、用户、岗位）
- 确认分发器服务（核心定向推送逻辑）
- 确认全量同步与消息推送组件
- 确认管理后台 API（5个 Controller）
- 确认 Service ��（4个核心服务）
- 确认 DAL 层（7个 DO + Mapper）
- 添加 databus-server starter 依赖到 pom.xml
- 编译验证通过

Ref: docs/databus/implementation-checklist.md 任务 39-70
 2025-12-04 15:49:42 +08:00
hewencai
acdc73999a feat(databus): 完成阶段一+二-数据契约层与数据提供者 
阶段一：数据契约层（任务 1-16）
- 新增 DatabusDeptData, DatabusAdminUserData, DatabusPostData 数据对象
- 新增 CursorPageReqDTO, CursorPageResult 游标分页 DTO
- 新增 DatabusDeptProviderApi, DatabusUserProviderApi, DatabusPostProviderApi Feign 接口
- 修改 system-api pom.xml 添加 databus-api 依赖

阶段二：数据提供者实现（任务 17-38）
- 新增 DatabusDeptProviderApiImpl, DatabusUserProviderApiImpl, DatabusPostProviderApiImpl Feign 接口实现
- 实现游标分页查询（基于 cursorTime + cursorId 复合游标）
- 新增 DatabusDeptChangeMessage, DatabusUserChangeMessage, DatabusPostChangeMessage MQ 消息类
- 新增 DatabusChangeProducer 消息生产者（支持部门、用户、岗位三实体）
- 修改 DeptServiceImpl, AdminUserServiceImpl, PostServiceImpl 添加事件发布

技术要点：
- 游标分页：cursorTime + cursorId 复合游标解决雪花ID乱序问题
- 事件发布：create/update/delete 操作后异步发送 MQ 消息
- 数据聚合：用户数据包含部门和岗位简要信息

Ref: docs/databus/implementation-checklist.md 任务 1-38
 2025-12-04 15:49:41 +08:00
wencai he
35be7d03f9 Merge branch 'dev' into 'test' 
fix:还原databus端口配置

See merge request jygk/dsc!5
 2025-12-04 06:42:31 +00:00
hewencai
9cfe8c4dc7 fix:还原databus端口配置 2025-12-04 14:41:59 +08:00
wencai he
71c523bbe8 Merge branch 'dev' into 'test' 
feat(databus): 完成阶段一+二-数据契约层与数据提供者

See merge request jygk/dsc!4
 2025-12-04 06:13:11 +00:00
hewencai
7067170201 Merge remote-tracking branch 'origin/dev' into dev 2025-12-04 14:07:00 +08:00
chenbowen
2b8e036c1b 新增 databus 配置 2025-12-04 10:18:36 +08:00
chenbowen
54b195f284 Merge branch 'dev' into test 
# Conflicts:
#	zt-module-template/zt-module-template-server/Dockerfile
 2025-12-03 18:02:24 +08:00
hewencai
15580ace8f refactor(databus): 代码审查修复和TODO完成 
修复硬编码配置：
- 修改日志路径为环境变量：${LOG_PATH:./logs}/${spring.application.name}.log
- 修改 RocketMQ 地址为环境变量：${ROCKETMQ_NAME_SERVER:172.16.46.63:30876}
- 还原 Nacos namespace 从 hwc 到 dev

完成 TODO 功能：
- TODO #1: 实现死信重试逻辑（重新投递消息到 MQ）
- TODO #2: 实现日志重试逻辑（根据事件记录重新推送）
- TODO #3: 实现全量同步触发（创建任务并异步执行）
- TODO #4: 实现事件 ID 查询（通过 eventType 查询事件定义）

涉及文件：
- pom.xml: 还原 Nacos namespace 到 dev
- DatabusSyncDeadLetterServiceImpl: 实现死信重试
- DatabusSyncLogServiceImpl: 实现日志重试
- DatabusSyncSubscriptionServiceImpl: 实现全量同步触发
- DatabusEventPublisherImpl: 实现事件 ID 查询
- application-*.yml/yaml: 修复硬编码配置

Ref: 代码审查报告
 2025-12-03 15:59:59 +08:00
hewencai
62494ced45 fix(databus): 修复客户端消息处理和防止消息循环 
1. 修复消息格式不匹配问题
   - 增量消息：兼容 SyncMessage 格式，从 dataSnapshot 字段反序列化数据
   - 批量消息：添加 getDataType() 方法获取泛型类型，正确转换 JSONObject

2. 防止消息循环
   - 添加 zt.databus.change.producer.enabled 配置项
   - 客户端禁用变更消息发送，避免 客户端写入 → 发送变更 → 循环

3. 修复 Feign 客户端注入
   - 在 RpcConfiguration 中添加 DeptApi、PostApi
   - 确保客户端能通过 Feign 调用本地 system-server API

相关文件：
- DatabusClientConsumer.java: 修复消息解析逻辑
- BatchSyncEventHandler.java: 添加 getDataType() 方法
- DatabusChangeProducer.java: 添加 enabled 开关
- RpcConfiguration.java: 启用 DeptApi/PostApi Feign 客户端

Ref: 修复 ClassCastException 和消息循环问题
 2025-12-03 11:10:57 +08:00
chenbowen
45140c7f5a 1. 调整 databus 模块写入日志的时机，解决获取不到租户的问题 2025-12-03 09:51:43 +08:00
chenbowen
6eda833c55 Merge branch 'dev' into test 2025-12-02 17:49:15 +08:00
chenbowen
e11065a596 1. 启动默认调度，定时请求 databus api 
2. 修复 databus 单元测试
3. 调整 iwork 回调业务编号
 2025-12-02 17:45:58 +08:00
chenbowen
8d1a6ed045 Merge branch 'dev' into test 2025-12-02 16:21:50 +08:00
chenbowen
2e0b0a5e83 1. 默认关闭 databus 模块线程池 2025-12-02 16:19:40 +08:00
hewencai
db13036cea feat(databus): 完成阶段四-DataBus Server完整功能 
- 补充缺失的 API 类（DatabusMessage、DatabusBatchMessage、DatabusEventType）
- 新增变更消息消费者（3个：部门、用户、岗位）
- 新增数据提供者（3个：部门、用户、岗位）
- 确认分发器服务（核心定向推送逻辑）
- 确认全量同步与消息推送组件
- 确认管理后台 API（5个 Controller）
- 确认 Service ��（4个核心服务）
- 确认 DAL 层（7个 DO + Mapper）
- 添加 databus-server starter 依赖到 pom.xml
- 编译验证通过

Ref: docs/databus/implementation-checklist.md 任务 39-70
 2025-12-01 23:44:32 +08:00
hewencai
f5ba493f95 feat(databus): 完成阶段一+二-数据契约层与数据提供者 
阶段一：数据契约层（任务 1-16）
- 新增 DatabusDeptData, DatabusAdminUserData, DatabusPostData 数据对象
- 新增 CursorPageReqDTO, CursorPageResult 游标分页 DTO
- 新增 DatabusDeptProviderApi, DatabusUserProviderApi, DatabusPostProviderApi Feign 接口
- 修改 system-api pom.xml 添加 databus-api 依赖

阶段二：数据提供者实现（任务 17-38）
- 新增 DatabusDeptProviderApiImpl, DatabusUserProviderApiImpl, DatabusPostProviderApiImpl Feign 接口实现
- 实现游标分页查询（基于 cursorTime + cursorId 复合游标）
- 新增 DatabusDeptChangeMessage, DatabusUserChangeMessage, DatabusPostChangeMessage MQ 消息类
- 新增 DatabusChangeProducer 消息生产者（支持部门、用户、岗位三实体）
- 修改 DeptServiceImpl, AdminUserServiceImpl, PostServiceImpl 添加事件发布

技术要点：
- 游标分页：cursorTime + cursorId 复合游标解决雪花ID乱序问题
- 事件发布：create/update/delete 操作后异步发送 MQ 消息
- 数据聚合：用户数据包含部门和岗位简要信息

Ref: docs/databus/implementation-checklist.md 任务 1-38
 2025-12-01 22:25:28 +08:00
chenbowen
aa2fda8f62 Merge branch 'dev' into test 2025-12-01 17:52:33 +08:00
chenbowen
95d905e76f 1. 限制记录 api 日志的字段长度 
2. 完整记录所有的 databus api 的请求日志
3. 新增 iwork 同步可以按 id 维度进行
4. 新增自动扫描 BusinessBaseDO 的 公司部门数据权限模式
 2025-12-01 17:46:42 +08:00
chenbowen
fc0428e7b5 Merge branch 'dev' into test 2025-12-01 10:21:55 +08:00
chenbowen
0c22975df0 1. 剔除掉多余的文档以及标记 2025-11-28 18:12:00 +08:00
chenbowen
22599bbc65 Merge branch 'dev' into test 2025-11-27 16:46:27 +08:00