jivvies
本站致力于IT相关技术的分享
构建基于强化学习与OpenFaaS的Webpack动态配置优化管道 构建基于强化学习与OpenFaaS的Webpack动态配置优化管道
我们前端项目的CI管道已经僵化了。Webpack的配置文件，一个由层层“最佳实践”和性能魔法数字堆砌而成的庞然大物，已经数月无人敢动。每一次提交，无论改动大小，都会触发一套完全相同、耗时漫长的构建流程。更糟糕的是，我们为这套静态流程付出了高
2023-10-27 DevOps
MLOps OpenFaaS Webpack 强化学习 CI/CD
构建基于Vault的ActiveMQ动态凭证管理服务及其RESTful API实现 构建基于Vault的ActiveMQ动态凭证管理服务及其RESTful API实现
在生产环境中，将ActiveMQ的静态用户名和密码硬编码在配置文件或者代码中，是一种常见的、但极度危险的做法。凭证一旦泄露，整个消息中枢将门户大开。更棘手的是凭证的轮换，每次更新都需要协调所有生产者和消费者的重启，这在大型分布式系统中几乎是
2023-10-27 安全与合规
密钥管理 Vault DevSecOps ActiveMQ RESTful API
构建基于Python与Serverless的CDC管道实现数据湖分析负载分离 构建基于Python与Serverless的CDC管道实现数据湖分析负载分离
我们生产环境的 Aurora MySQL 读副本 CPU 占用率已经连续数周在 90% 以上的高位徘徊。最初的读写分离设计，本意是隔离在线事务处理（OLTP）和报表查询，但随着业务增长，数据分析团队的临时复杂查询和 BI 工具的仪表盘刷新，
2023-10-27 数据工程
读写分离 Python Serverless Data Lake CDC
构建基于 Sanic 和 Prettier 的 Azure Data Lake 规范化数据摄入网关 构建基于 Sanic 和 Prettier 的 Azure Data Lake 规范化数据摄入网关
我们的数据湖最近出现了一个棘手的“熵增”问题。团队的多个微服务和数据源持续不断地向 Azure Data Lake Storage (ADLS Gen2) 推送 JSON 格式的配置快照、事件载荷和元数据。功能上，这些数据都完全正确。但问题
2023-10-27 数据工程
Sanic Python Prettier Data Lake Azure
在 CockroachDB 上整合 MapReduce 批处理与实时 Rollup 构建混合特征存储 在 CockroachDB 上整合 MapReduce 批处理与实时 Rollup 构建混合特征存储
我们面临的第一个真正棘手的问题，是机器学习模型对特征的矛盾需求。风控模型需要用户过去一年的交易行为聚合特征，这是一个典型的批处理场景；但同时，它又需要捕捉到用户最近30秒内的交易频率，这是一个纯粹的流式计算需求。传统的 Lambda 架构将
2023-10-27 数据工程与存储
MapReduce Tyk CockroachDB Rollup
Solid.js 与 Django 应用中基于上下文传递的 ELK 结构化日志系统构建实践 Solid.js 与 Django 应用中基于上下文传递的 ELK 结构化日志系统构建实践
生产环境的日志总是散乱的。前端应用在用户的浏览器里安静地报错，而后端服务在自己的世界里记录着业务流程。当用户报告一个模糊不清的“功能失灵”时，我们面对的是两套毫无关联的时间戳和日志流。前端开发者在 console.log 的海洋里挣扎，后端
2023-10-27 后端架构
Python Django Solid.js ELK Stack 设计模式
5 / 5