kollama expose
kollama expose
用于暴露 Model
服务。
用例
暴露 Model
服务
shell
kollama expose phi
暴露指定命名空间中的 Model
服务
shell
kollama expose phi --namespace=production
暴露为 LoadBalancer
类型的服务
shell
kollama expose phi --service-type=LoadBalancer
选项
--namespace
如果配置了该参数,将会在指定的命名空间中操作 Model
。
--service-type
shell
kollama deploy phi --expose --service-type=NodePort
默认:NodePort
暴露所部署的 Model
服务时所连带创建的 Service
类型。有且仅有当 --expose
被指定时,该参数才会生效。
如果没有指定该参数,那么创建时,将会默认使用 NodePort
类型的服务。
了解有多少服务与 Model
相关联...
shell
kubectl get svc --selector ollama.ayaka.io/type=model
可以指定为 LoadBalancer
来暴露一个 LoadBalancer
类型的服务。
--service-name
shell
kollama deploy phi --expose --service-name=phi-svc-nodeport
默认:ollama-model-<model name>-<service type>
如果未指定,则将使用 Model
名称作为服务名称,并将 -nodeport
作为 NodePort
类型的服务的后缀。
--node-port
shell
kollama deploy phi --expose --service-type=NodePort --node-port=30000
默认:随机协商的端口
了解 Model
使用的 NodePort
端口号...
shell
kubectl get svc --selector model.ollama.ayaka.io/name=<model name> -o json | jq ".spec.ports[0].nodePort"
并不可以随便指定端口号哦!
有这么几个限制是存在的:
- 默认情况下
30000-32767
是 Kubernetes 集群中的NodePort
端口范围。如果你想要使用这个范围之外的端口,你需要在集群中配置--service-node-port-range
参数。 - 你不能使用已经被其他服务占用的端口号。
有关自己选择端口号的更多信息,请参考 Kubernetes 官方文档有关 nodePort
的章节。
暴露 Model
为 NodePort
类型的服务时所使用的指定的 nodePort
端口号。
如果没有指定,将分配一个随机端口。该参数有且仅有在 --expose
指定,或者 --service-type
设置为 NodePort
时才有效。
贡献者
Neko Ayaka