快速上手

安装 Ollama Operator

没有现成的 Kubernetes 集群吗？

运行以下命令以在您的本地机器上安装 Docker 和 kind 并创建一个 Kubernetes 集群：

macOS

brew install --cask docker
brew install docker kind kubectl
wget https://raw.githubusercontent.com/nekomeowww/ollama-operator/main/hack/kind-config.yaml
kind create cluster --config kind-config.yaml

Windows

Invoke-WebRequest  -OutFile "./Docker Desktop Installer.exe"
Start-Process 'Docker Desktop Installer.exe' -Wait install
start /w "" "Docker Desktop Installer.exe" install

# If you use Scoop command line installer
scoop install docker kubectl go
# Alternatively, if you use Chocolatey as package manager
choco install docker-desktop kubernetes-cli golang

go install sigs.k8s.io/kind@latest
wget https://raw.githubusercontent.com/nekomeowww/ollama-operator/main/hack/kind-config.yaml
kind create cluster --config kind-config.yaml

Linux

# refer to Install Docker Engine on Debian | Docker Docs https://docs.docker.com/engine/install/debian/
# and Install and Set Up kubectl on Linux | Kubernetes https://kubernetes.io/docs/tasks/tools/install-kubectl-linux/

1. 安装 Operator.

kubectl apply \
  --server-side=true \
  -f https://raw.githubusercontent.com/nekomeowww/ollama-operator/v0.10.1/dist/install.yaml

2. 等待 Operator 就绪：

kubectl wait \
   -n ollama-operator-system \
  --for=jsonpath='{.status.readyReplicas}'=1 deployment/ollama-operator-controller-manager

开始使用 Ollama Operator 主要有两种方法：

通过 Kollama CLI 部署模型

讨厌 YAML？

更好更快的使用体验？

没问题的，用 kollama 也可以！

          # 常规二进制
          $ kollama deploy phi
        

or

          # 作为 kubectl 插件
          $ kubectl ollama deploy phi
        

通过 CRD 部署模型

对部署参数的精细控制？

GitOps 和自动化部署？

CRD 也超简单，只有 6 行！

          apiVersion: ollama.ayaka.io/v1
          kind: Model
          metadata:
            name: phi
          spec:
            image: phi
        

1. kollama 提供了一种简单的方式将 Ollama 模型 CRD 部署到您的 Kubernetes 集群中。
2. 通用的 Kubernetes CRD 适用于希望自定义 Ollama 模型 CRD 的高级用户。

不同的方式提供了不同的定制和灵活性。选择最适合您需求的方式。

贡献者

Neko Ayaka

页面历史

最后编辑于 9 个月前

查看完整历史

b871251-docs: updated docs

466e51c-docs: added docs about kollama cli