wenextly
本站致力于IT相关技术的分享
构建基于Playwright与Hudi的全链路数据压测及一致性校验自动化流水线 构建基于Playwright与Hudi的全链路数据压测及一致性校验自动化流水线
我们的技术痛点始于一个看似简单却极难保证的承诺：实时数据湖中的每一条数据，在经历高并发写入、更新和近实时查询的完整生命周期后，必须保持绝对的完整性与可预测的查询性能。在一个由用户前端行为触发、经由Kafka流转、最终沉淀到Apache Hu
2023-10-27 数据工程
Apache Hudi GitLab CI/CD Playwright Kafka 索引优化
使用Haskell构建连接Delta Lake与MongoDB的类型安全实时特征同步服务 使用Haskell构建连接Delta Lake与MongoDB的类型安全实时特征同步服务
为支撑一个基于Hugging Face Transformers的大规模检索增强生成（RAG）应用，技术挑战的核心落在了特征工程上：既需要一个能够存储和版本化海量历史文本嵌入（Embeddings）的离线存储，用于模型迭代和分析；也需要一个
2023-10-27 数据工程
MongoDB Delta Lake Hugging Face Transformers Haskell
利用 Flink 状态化流处理实现持久化 Saga 模式及其前端状态同步 利用 Flink 状态化流处理实现持久化 Saga 模式及其前端状态同步
一个跨多个微服务的业务流程，比如视频处理发布，其内在的复杂性不在于单个服务的实现，而在于如何保证整个流程的原子性。一个典型的流程可能包含：接收上传、启动转码、提取元数据、内容审核、分发CDN。这五个步骤，分布在不同服务中，任何一步失败，都需
2023-10-27 分布式系统
Node.js Apache Flink Saga Pattern React Testing Library Valtio
构建与 React Native 通信的 C++ 高性能 Paxos 共识引擎 构建与 React Native 通信的 C++ 高性能 Paxos 共识引擎
最初的需求是在一个 C++ 核心业务系统中，为运维和调试人员提供一个轻量级、跨平台的监控面板。这个面板需要能实时展示系统内部多个节点的共识状态，并能手动触发一些调试指令。Web 技术栈显得过于笨重，需要一个完整的 Web Server；而为
2023-10-27 分布式系统
Paxos 算法 React Native C++ JSI Turbo Modules
5 / 5