wenextly
本站致力于IT相关技术的分享
2023
10
27
27
利用 Redis Streams 构建从 Firestore 到 Dgraph 的弹性数据同步总线 利用 Redis Streams 构建从 Firestore 到 Dgraph 的弹性数据同步总线
在一个复杂的业务场景中，我们常常需要将数据冗余到不同特性的存储系统中，以满足多样的查询需求。我们的主业务数据存储在 Firestore，它为客户端提供了出色的实时性和开发便利性。然而，随着业务发展，我们需要对数据进行深度的、复杂的关系分析，
2023-10-27 分布式系统
Firestore Dgraph Redis 数据同步 Go Change Data Capture
27
27
27
27
构建基于Playwright与Hudi的全链路数据压测及一致性校验自动化流水线 构建基于Playwright与Hudi的全链路数据压测及一致性校验自动化流水线
我们的技术痛点始于一个看似简单却极难保证的承诺：实时数据湖中的每一条数据，在经历高并发写入、更新和近实时查询的完整生命周期后，必须保持绝对的完整性与可预测的查询性能。在一个由用户前端行为触发、经由Kafka流转、最终沉淀到Apache Hu
2023-10-27 数据工程
Apache Hudi GitLab CI/CD Playwright Kafka 索引优化
1 / 5