wenextly
本站致力于IT相关技术的分享
  文章分类
分布式系统 7 后端架构 4 可观测性 2 云原生 3 数据工程 2 平台工程 1 软件架构 1 架构设计 1 分布式架构 1 DevOps 4 架构与设计 1 云原生与DevOps 1
使用Haskell构建连接Delta Lake与MongoDB的类型安全实时特征同步服务 使用Haskell构建连接Delta Lake与MongoDB的类型安全实时特征同步服务
为支撑一个基于Hugging Face Transformers的大规模检索增强生成（RAG）应用，技术挑战的核心落在了特征工程上：既需要一个能够存储和版本化海量历史文本嵌入（Embeddings）的离线存储，用于模型迭代和分析；也需要一个
2023-10-27 数据工程
MongoDB Delta Lake Hugging Face Transformers Haskell
构建基于Playwright与Hudi的全链路数据压测及一致性校验自动化流水线 构建基于Playwright与Hudi的全链路数据压测及一致性校验自动化流水线
我们的技术痛点始于一个看似简单却极难保证的承诺：实时数据湖中的每一条数据，在经历高并发写入、更新和近实时查询的完整生命周期后，必须保持绝对的完整性与可预测的查询性能。在一个由用户前端行为触发、经由Kafka流转、最终沉淀到Apache Hu
2023-10-27 数据工程
Apache Hudi GitLab CI/CD Playwright Kafka 索引优化