wenextly
本站致力于IT相关技术的分享
构建基于Playwright与Hudi的全链路数据压测及一致性校验自动化流水线 构建基于Playwright与Hudi的全链路数据压测及一致性校验自动化流水线
我们的技术痛点始于一个看似简单却极难保证的承诺：实时数据湖中的每一条数据，在经历高并发写入、更新和近实时查询的完整生命周期后，必须保持绝对的完整性与可预测的查询性能。在一个由用户前端行为触发、经由Kafka流转、最终沉淀到Apache Hu
2023-10-27 数据工程
Apache Hudi GitLab CI/CD Playwright Kafka 索引优化
使用 OpenFaaS 与 Tekton 在 GKE 上构建事件驱动的异步数据处理管道 使用 OpenFaaS 与 Tekton 在 GKE 上构建事件驱动的异步数据处理管道
一个棘手的生产问题摆在面前：用户上传视频文件到 GCS，我们需要对其进行一系列处理——生成多种分辨率的转码版本、提取关键帧作为封面、分析元数据。这些操作耗时且资源密集，从几秒到几十分钟不等。直接在 API 服务中同步处理会造成请求超时，而简
2023-10-27 云原生
GCP GKE OpenFaaS Tekton 数据处理 Node.js
在 EKS 上使用 Go 构建面向 Cassandra 的分布式 Saga 事务协调器 在 EKS 上使用 Go 构建面向 Cassandra 的分布式 Saga 事务协调器
项目初期，一个看似简单的用户注册流程，需要在用户服务中创建记录、在账户服务中初始化余额，并在权限服务中赋予默认角色。这三步操作，必须是一个原子操作。任何一步失败，整个注册流程都应回滚，不能留下脏数据。在关系型数据库的世界里，一个 BEGIN
2023-10-27 分布式系统
Go AWS EKS 分布式一致性 Cassandra 微服务
使用 Operator 模式在 Kubernetes 中管理基于 Zookeeper 協调的事件溯源应用 使用 Operator 模式在 Kubernetes 中管理基于 Zookeeper 協调的事件溯源应用
部署一套基于事件溯源（Event Sourcing）的分布式应用到 Kubernetes 上，挑战远不止编写一个 Deployment 的 YAML 文件。这类应用通常是状态化的，节点间需要精密的协调机制来处理领导者选举、分片管理或配置同步
2023-10-27 分布式系统
Go Zookeeper Kubernetes Event Sourcing BASE
基于 etcd 与 MongoDB 构建动态预览环境的分布式协调与状态持久化实践 基于 etcd 与 MongoDB 构建动态预览环境的分布式协调与状态持久化实践
团队的开发流程一直有个瓶颈：代码审查（Code Review）严重依赖于开发者的本地环境。前端工程师需要拉取后端分支，后端工程师需要理解前端的构建过程，这导致每次 PR 的审查周期都很长，反馈回路极慢。我们的目标是实现自动化预览环境——任何
2023-10-27 平台工程
etcd MongoDB Chakra UI Rome 分布式系统
基于关系型数据库构建可插拔式NLP处理引擎的整洁架构实践 基于关系型数据库构建可插拔式NLP处理引擎的整洁架构实践
一个常见的NLP任务起点，往往是一个Python脚本。它用几行代码加载一个预训练模型，处理一段文本，然后打印结果。这对于验证性工作（POC）是完美的。但在真实项目中，需求会迅速膨胀：我们需要支持不同的处理流程（先分词再实体识别，或者先情感分
2023-10-27 软件架构
Python 软件工程与架构 NLP Clean Architecture SQL
2 / 5