平台工程
Key Manager — Gemini Key Pool
Self-hosted API key 調度池管理工具:隨機調度、負載平衡、rate-limit 冷卻與批次測試,供多個 AI 服務共用。
專案概覽
Self-hosted API key 調度池管理工具:隨機調度、負載平衡、rate-limit 冷卻與批次測試,供多個 AI 服務共用。
為什麼會做
背景
遇到什麼問題
問題
多個 AI app 共用 API key,無法即時知道哪些 key 可用、哪些在 cooldown、配額剩多少;缺乏統一的調度與限流機制。
如何解決
解法
Express + SQLite,SSE streaming 批次測試、四態狀態機(available / exhausted / rate_limited / invalid)、masked/unmasked 雙端點 + consumer sync protocol。同套調度概念曾訂為內部 AI 工具(原型生成、自動測試、AI code review 第一階段)測試期的驅動規則。
我負責什麼
我的角色
Full-stack, API Design, SSE Streaming, Consumer Sync Protocol
使用技術
技術棧
Node.jsTypeScriptExpressReact 19Vite 6Tailwind CSSSQLite
踩過哪些坑
挑戰
成果
成果
Key management for multiple keys across multiple consumers.
