Ollama Operator

大语言模型，伸缩自如，轻松部署

一个在 Kubernetes 上让部署和运行大型语言模型变得轻松简单的 Operator，由 Ollama 强力驱动 🐫

简单易用

易于使用的 API，足够简单的 CRD 规格，只需几行 YAML 定义即可部署一个模型，然后立即与之交互。

将 Ollama 的用户体验扩展到任何 Kubernetes 集群、边缘或任何云基础设施，使用相同的 CRD API，从任何地方与之交互。

您熟悉的 /v1/chat/completions 接口就在这里，具有相同的请求和响应格式。无需更改代码或切换到其他 API。

强大的功能调用、代理、知识库检索。使用 Ollama Operator，释放 Langchain 开箱即用的所有功能。

讨厌 YAML？

更好更快的使用体验？

没问题的，用 kollama 也可以！

          # 常规二进制
          $ kollama deploy phi

          # 作为 kubectl 插件
          $ kubectl ollama deploy phi

对部署参数的精细控制？

GitOps 和自动化部署？

CRD 也超简单，只有 6 行！

          apiVersion: ollama.ayaka.io/v1
          kind: Model
          metadata:
            name: phi
          spec:
            image: phi