平台工程

Key Manager — Gemini Key Pool

Self-hosted API key 調度池管理工具:隨機調度、負載平衡、rate-limit 冷卻與批次測試,供多個 AI 服務共用。

Key Manager — Gemini Key Pool 系統畫面

實際系統畫面 Key pool 儀表板:四態統計(available / exhausted / rate limited / invalid)、trusted quota bucket 配額摘要,以及一鍵 SSE 串流批次測試所有金鑰。畫面中的金鑰值皆已遮罩。(點擊圖片看原圖)

專案概覽

Self-hosted API key 調度池管理工具:隨機調度、負載平衡、rate-limit 冷卻與批次測試,供多個 AI 服務共用。

為什麼會做

背景

遇到什麼問題

問題

多個 AI app 共用 API key,無法即時知道哪些 key 可用、哪些在 cooldown、配額剩多少;缺乏統一的調度與限流機制。

如何解決

解法

Express + SQLite,SSE streaming 批次測試、四態狀態機(available / exhausted / rate_limited / invalid)、masked/unmasked 雙端點 + consumer sync protocol。同套調度概念曾訂為內部 AI 工具(原型生成、自動測試、AI code review 第一階段)測試期的驅動規則。

我負責什麼

我的角色

Full-stack, API Design, SSE Streaming, Consumer Sync Protocol

使用技術

技術棧

Node.jsTypeScriptExpressReact 19Vite 6Tailwind CSSSQLite

踩過哪些坑

挑戰

成果

成果

Key management for multiple keys across multiple consumers.