归档 | wenextly

2023

10

27

我们的技术痛点始于一个看似简单却极难保证的承诺：实时数据湖中的每一条数据，在经历高并发写入、更新和近实时查询的完整生命周期后，必须保持绝对的完整性与可预测的查询性能。在一个由用户前端行为触发、经由Kafka流转、最终沉淀到Apache Hu

2023-10-27 数据工程

Apache Hudi GitLab CI/CD Playwright Kafka 索引优化

27

一个棘手的生产问题摆在面前：用户上传视频文件到 GCS，我们需要对其进行一系列处理——生成多种分辨率的转码版本、提取关键帧作为封面、分析元数据。这些操作耗时且资源密集，从几秒到几十分钟不等。直接在 API 服务中同步处理会造成请求超时，而简

2023-10-27 云原生

GCP GKE OpenFaaS Tekton 数据处理 Node.js

27

项目初期，一个看似简单的用户注册流程，需要在用户服务中创建记录、在账户服务中初始化余额，并在权限服务中赋予默认角色。这三步操作，必须是一个原子操作。任何一步失败，整个注册流程都应回滚，不能留下脏数据。在关系型数据库的世界里，一个 BEGIN

2023-10-27 分布式系统

Go AWS EKS 分布式一致性 Cassandra 微服务

27

部署一套基于事件溯源（Event Sourcing）的分布式应用到 Kubernetes 上，挑战远不止编写一个 Deployment 的 YAML 文件。这类应用通常是状态化的，节点间需要精密的协调机制来处理领导者选举、分片管理或配置同步

2023-10-27 分布式系统

Go Zookeeper Kubernetes Event Sourcing BASE

27

团队的开发流程一直有个瓶颈：代码审查（Code Review）严重依赖于开发者的本地环境。前端工程师需要拉取后端分支，后端工程师需要理解前端的构建过程，这导致每次 PR 的审查周期都很长，反馈回路极慢。我们的目标是实现自动化预览环境——任何

2023-10-27 平台工程

etcd MongoDB Chakra UI Rome 分布式系统

27

一个常见的NLP任务起点，往往是一个Python脚本。它用几行代码加载一个预训练模型，处理一段文本，然后打印结果。这对于验证性工作（POC）是完美的。但在真实项目中，需求会迅速膨胀：我们需要支持不同的处理流程（先分词再实体识别，或者先情感分

2023-10-27 软件架构

Python 软件工程与架构 NLP Clean Architecture SQL