关于 Open Source AI Gateway
Open-source AI gateway for managing multiple LLM providers with built-in features.
什么是Open Source AI Gateway？
一个开源的AI网关，用于管理多个大型语言模型（LLM）提供商，如OpenAI、Anthropic、Gemini、Ollama、Mistral和Cohere。它提供内置分析、保护措施、速率限制、缓存和管理控制。支持HTTP和gRPC接口。
如何使用 Open Source AI Gateway？
1. 配置Config.toml文件，填写您的API密钥和模型设置。
2. 运行Docker容器，挂载Config.toml文件。
3. 使用curl命令向网关发起API请求，指定LLM提供商。
2. 运行Docker容器，挂载Config.toml文件。
3. 使用curl命令向网关发起API请求，指定LLM提供商。
Open Source AI Gateway 的核心功能
多提供商支持
HTTP和gRPC接口
智能故障转移
智能缓存
速率限制
管理员仪表板
内容保护措施
企业日志记录
系统提示注入
HTTP和gRPC接口
智能故障转移
智能缓存
速率限制
管理员仪表板
内容保护措施
企业日志记录
系统提示注入
功能标签
ai-代码编程与辅助
新出AI