平台工程

@kevinsisi/ai-core — 共用 AI Runtime 模組

Provider-aware 的多 provider AI runtime 套件,供旗下多個服務(mind-diary、Design Bridge、auto-spec-test…)共用:KeyPool、retry、streaming、tools、agent-runtime。

專案概覽

Provider-aware 的多 provider AI runtime 套件,供旗下多個服務(mind-diary、Design Bridge、auto-spec-test…)共用:KeyPool、retry、streaming、tools、agent-runtime。

為什麼會做

背景

遇到什麼問題

問題

多個 AI 服務各自實作 key 輪替、retry、provider 切換,邏輯重複且行為不一致;rate limit 處理分散難以維護。

如何解決

解法

抽出共用 primitives 發布為套件:KeyPool 多 key 輪替與冷卻(可插拔 storage adapter)、provider-aware retry classifier(quota/rate-limit/network 分類退避)、ProviderRouter(OpenAI / OpenRouter / Gemini / OpenCode adapter)、AgentRuntime 與 step-orchestration。原則:不可靜默 fallback,跨 provider 切換必須由顯式 routing policy 開啟。

我負責什麼

我的角色

Library Design, API Design, Provider Adapter Architecture, Testing, Package Publishing

使用技術

技術棧

TypeScript (strict)tsup (ESM/CJS)Vitestbetter-sqlite3GitHub Packages

踩過哪些坑

挑戰

成果

成果

Shared AI infrastructure consumed by 5+ production services, eliminating duplicated key-pool and retry logic.