@kevinsisi/ai-core — 共用 AI Runtime 模組
Provider-aware 的多 provider AI runtime 套件,供旗下多個服務(mind-diary、Design Bridge、auto-spec-test…)共用:KeyPool、retry、streaming、tools、agent-runtime。
專案概覽
Provider-aware 的多 provider AI runtime 套件,供旗下多個服務(mind-diary、Design Bridge、auto-spec-test…)共用:KeyPool、retry、streaming、tools、agent-runtime。
為什麼會做
背景
遇到什麼問題
問題
多個 AI 服務各自實作 key 輪替、retry、provider 切換,邏輯重複且行為不一致;rate limit 處理分散難以維護。
如何解決
解法
抽出共用 primitives 發布為套件:KeyPool 多 key 輪替與冷卻(可插拔 storage adapter)、provider-aware retry classifier(quota/rate-limit/network 分類退避)、ProviderRouter(OpenAI / OpenRouter / Gemini / OpenCode adapter)、AgentRuntime 與 step-orchestration。原則:不可靜默 fallback,跨 provider 切換必須由顯式 routing policy 開啟。
我負責什麼
我的角色
Library Design, API Design, Provider Adapter Architecture, Testing, Package Publishing
使用技術
技術棧
踩過哪些坑
挑戰
成果
成果
Shared AI infrastructure consumed by 5+ production services, eliminating duplicated key-pool and retry logic.