归档 | wenextly

2023

10

27

我们的技术痛点始于一个看似简单却极难保证的承诺：实时数据湖中的每一条数据，在经历高并发写入、更新和近实时查询的完整生命周期后，必须保持绝对的完整性与可预测的查询性能。在一个由用户前端行为触发、经由Kafka流转、最终沉淀到Apache Hu

2023-10-27 数据工程

Apache Hudi GitLab CI/CD Playwright Kafka 索引优化

27

为支撑一个基于Hugging Face Transformers的大规模检索增强生成（RAG）应用，技术挑战的核心落在了特征工程上：既需要一个能够存储和版本化海量历史文本嵌入（Embeddings）的离线存储，用于模型迭代和分析；也需要一个

2023-10-27 数据工程

MongoDB Delta Lake Hugging Face Transformers Haskell

27

一个跨多个微服务的业务流程，比如视频处理发布，其内在的复杂性不在于单个服务的实现，而在于如何保证整个流程的原子性。一个典型的流程可能包含：接收上传、启动转码、提取元数据、内容审核、分发CDN。这五个步骤，分布在不同服务中，任何一步失败，都需

2023-10-27 分布式系统

Node.js Apache Flink Saga Pattern React Testing Library Valtio

27

最初的需求是在一个 C++ 核心业务系统中，为运维和调试人员提供一个轻量级、跨平台的监控面板。这个面板需要能实时展示系统内部多个节点的共识状态，并能手动触发一些调试指令。Web 技术栈显得过于笨重，需要一个完整的 Web Server；而为

2023-10-27 分布式系统

Paxos 算法 React Native C++ JSI Turbo Modules