Back to list
High-Potential
Go

🛠️ Go 语言编写的轻量级 AI 网关

862 stars55 forksGo
aiai-gatewayai-proxyanthropicgogolanggroqlitellm-alternativellmllm-gatewayobservabilityollama
在处理高并发的 AI 请求时,如果觉得 Python 写的网关有些吃力,或者部署起来不够轻量,GoModel 提供了一个很有吸引力的替代方案。这是一个完全用 Go 语言编写的 AI 网关,定位上是对标 LiteLLM。 它的核心逻辑很清晰:对外提供统一的、兼容 OpenAI 格式的 API,对内则可以路由到 Anthropic、Gemini、Groq 甚至本地的 Ollama。除了基础的请求转发,它还内置了可观测性、安全护栏、流式传输以及成本追踪功能。 Go 语言天生适合做这种高并发的网络代理层。GoModel 把大模型时代的“API 路由”做成了一个轻量级、易部署的二进制文件,非常适合作为内部 AI 应用的统一流量入口。