kollama expose
kollama expose 用于暴露 Model 服务。
用例
暴露 Model 服务
shell
kollama expose phi暴露指定命名空间中的 Model 服务
shell
kollama expose phi --namespace=production暴露为 LoadBalancer 类型的服务
shell
kollama expose phi --service-type=LoadBalancer选项
--namespace
如果配置了该参数,将会在指定的命名空间中操作 Model。
--service-type
shell
kollama deploy phi --expose --service-type=NodePort默认:NodePort
暴露所部署的 Model 服务时所连带创建的 Service 类型。有且仅有当 --expose 被指定时,该参数才会生效。
如果没有指定该参数,那么创建时,将会默认使用 NodePort 类型的服务。
了解有多少服务与 Model 相关联...
shell
kubectl get svc --selector ollama.ayaka.io/type=model可以指定为 LoadBalancer 来暴露一个 LoadBalancer 类型的服务。
--service-name
shell
kollama deploy phi --expose --service-name=phi-svc-nodeport默认:ollama-model-<model name>-<service type>
如果未指定,则将使用 Model 名称作为服务名称,并将 -nodeport 作为 NodePort 类型的服务的后缀。
--node-port
shell
kollama deploy phi --expose --service-type=NodePort --node-port=30000默认:随机协商的端口
了解 Model 使用的 NodePort 端口号...
shell
kubectl get svc --selector model.ollama.ayaka.io/name=<model name> -o json | jq ".spec.ports[0].nodePort"并不可以随便指定端口号哦!
有这么几个限制是存在的:
- 默认情况下
30000-32767是 Kubernetes 集群中的NodePort端口范围。如果你想要使用这个范围之外的端口,你需要在集群中配置--service-node-port-range参数。 - 你不能使用已经被其他服务占用的端口号。
有关自己选择端口号的更多信息,请参考 Kubernetes 官方文档有关 nodePort 的章节。
暴露 Model 为 NodePort 类型的服务时所使用的指定的 nodePort 端口号。
如果没有指定,将分配一个随机端口。该参数有且仅有在 --expose 指定,或者 --service-type 设置为 NodePort 时才有效。