AI-Lib
开源生态系统

一套协议,
统一所有 AI 服务商。

AI-Lib 是一个开源生态系统,标准化 AI 模型交互方式。V2 协议支持 MCP、Computer Use、多模态三大能力——37 个服务商,三运行时,零硬编码逻辑。

37
AI 服务商
5
核心项目
0
硬编码逻辑
3
语言运行时

五个项目,一个生态系统

规范层定义规则。三种运行时实现(Rust、Python、TypeScript)将规范付诸实践。

v0.7.6

AI-Protocol

与供应商无关的规范。YAML 清单定义如何与每个 AI 服务商通信——零硬编码逻辑。

  • 37 服务商清单(6 V2 + 36 V1)
  • STT/TTS/Rerank 清单(Jina、OpenAI、Cohere)
  • JSON Schema 验证
  • 流式事件规范化
  • 错误分类标准
  • 热重载配置
v0.8.5

ai-lib-rust

高性能 Rust 运行时。V2 标准错误码、功能开关、基于算子的流式管道、编译时安全、亚毫秒级开销。

  • ProviderDriver(OpenAI/Anthropic/Gemini)
  • MCP 工具桥 + 命名空间隔离
  • Computer Use + SafetyPolicy
  • 扩展多模态验证
  • 嵌入与缓存
  • 插件系统
  • 185+ 测试,发布于 Crates.io
v0.7.4

ai-lib-python

开发者友好的 Python 运行时。V2 标准错误码、按能力扩展、完整异步支持、Pydantic v2 类型、生产级遥测。

  • ProviderDriver(OpenAI/Anthropic/Gemini)
  • MCP 工具桥 + 命名空间隔离
  • Computer Use + SafetyPolicy
  • STT/TTS/Rerank 扩展
  • Pydantic v2 类型安全
  • 模型路由与负载均衡
  • 75+ V2 测试,发布于 PyPI
v0.4.0

ai-lib-ts

TypeScript/Node.js 运行时,面向 npm 生态。协议驱动、流式优先,支持 Resilience、Routing、MCP 与多模态。

  • V2 清单解析 + 标准错误码
  • Resilience(Retry、CircuitBreaker、RateLimiter、Backpressure)
  • ModelManager + CostBasedSelector + FallbackChain
  • SttClient、TtsClient、RerankerClient
  • McpToolBridge、EmbeddingClient、Plugins
  • BatchExecutor + PreflightChecker
  • 原生 fetch,发布于 npm

协议驱动设计

「所有逻辑都是算子,所有配置都是协议。」每个服务商的行为都在 YAML 中声明——运行时不含任何硬编码的服务商逻辑。

声明式配置

服务商端点、认证、参数映射、流式解码器和错误处理——均在 YAML 清单中声明,由 JSON Schema 验证。

基于算子的管道

流式响应流经可组合算子:Decoder、Selector、Accumulator、FanOut、EventMapper。每个算子均由协议驱动。

热重载就绪

无需重启即可更新服务商配置。协议变更自动传播到运行时。通过配置而非代码添加新服务商。

生态系统架构

三层协同工作——规范定义规则,运行时执行规则,应用消费统一接口。

AI-Lib 生态系统架构 应用层 运行时层 协议层 Web 应用 / API 服务 Rust / Python / TS 你的应用代码 AI 智能体 多轮对话 / 工具调用 CLI 工具 批处理 / 数据管道 测试与开发 Mock 服务 ai-lib-rust v0.8.5 AiClient Pipeline Transport Resilience Embeddings Cache / Batch Crates.io · tokio + reqwest · <1ms overhead ai-lib-python v0.7.4 AiClient Pipeline Transport Resilience Telemetry Routing PyPI · httpx + Pydantic v2 · async/await ai-lib-ts v0.4.0 AiClient Pipeline Transport Resilience MCP Bridge Batch NPM · fetch + Zod · ESM / CJS 加载协议清单 AI-Protocol v0.7.6 spec.yaml 核心规范 providers/*.yaml 37 个服务商清单 models/*.yaml 模型注册表 YAML 定义 → JSON 编译 → 运行时消费 · 无供应商锁定 ai-protocol-mock v0.1.7 模拟服务器 本地测试 响应录制 快照测试 协议兼容性验证 开发测试 · CI/CD · 无需真实 API 模拟

工作原理

从用户请求到统一的流式事件——每一步都由协议驱动。

请求-响应数据流 请求流 → 用户请求 chat() AiClient 统一请求 Protocol compile_request() Transport HTTP POST AI 服务商 OpenAI, etc. ← 响应流 (SSE/JSON) 字节流 SSE / NDJSON Decoder 解码帧 Pipeline Select → Accumulate → Map EventMapper StreamingEvent 应用消费 统一事件 所有参数映射和事件规范化由协议清单驱动 — 零硬编码逻辑 统一事件类型: PartialContentDelta · ToolCallStarted · PartialToolCall · StreamEnd

选择你的运行时

同一协议,各有优势。选择适合你技术栈的运行时。

能力 AI-Protocol Rust SDK Python SDK TypeScript SDK
类型系统 JSON Schema 编译时(Rust) 运行时(Pydantic v2) 编译时(TypeScript)
流式 SSE/NDJSON 规范 tokio async streams async generators AsyncIterator + fetch
弹性 重试策略规范 熔断器、限流器、背压 ResilientExecutor 及所有模式 RetryPolicy、CircuitBreaker、RateLimiter
V2 驱动 ProviderContract 规范 Box<dyn ProviderDriver> ProviderDriver ABC ManifestV2 + HttpTransport
MCP mcp.json 规范 McpToolBridge McpToolBridge McpToolBridge
Computer Use computer-use.json 规范 ComputerAction + SafetyPolicy ComputerAction + SafetyPolicy
多模态 multimodal.json 规范 MultimodalCapabilities MultimodalCapabilities SttClient、TtsClient、RerankerClient
嵌入 向量运算、相似度 向量运算、相似度 EmbeddingClient
分发 GitHub / npm Crates.io PyPI npm
最适合 规范与标准 系统、性能关键 ML、数据科学、原型开发 Node.js、npm 生态、全栈

支持 37 个 AI 服务商

通过协议配置驱动,无需任何硬编码即可接入全球和中国区主流 AI 服务商。6 个 V2 清单含 MCP/CU/多模态声明。

全球服务商

OpenAI OpenAI
Anthropic Anthropic
Google Gemini Google Gemini
Groq Groq
Mistral Mistral
Cohere Cohere
Azure OpenAI Azure OpenAI
Together AI Together AI
Hugging Face Hugging Face
Grok Grok
Ollama Ollama
D
DeepInfra
O
OpenRouter
N
NVIDIA
F
Fireworks
R
Replicate
A
AI21 Labs
C
Cerebras
P
Perplexity
L
Lepton AI

中国区服务商

DeepSeek DeepSeek
Qwen Qwen
D
Doubao
Z
Zhipu GLM
Baidu ERNIE Baidu ERNIE
Tencent Hunyuan Tencent Hunyuan
iFlytek Spark iFlytek Spark
Moonshot Moonshot
M
MiniMax
B
Baichuan
Y
Yi / 01.AI
S
SiliconFlow
S
SenseNova
T
Tiangong

准备好开始了吗?

阅读文档,选择你的运行时(Rust、Python 或 TypeScript),从今天开始使用 37 AI 服务商进行开发。