docker run --rm -it -p 3333:3000 ghcr.io/bentoml/openllm start facebook/opt-1.3b --backend pt
注意:此处使用 facebook/opt-1.3b 模型仅作为示例,效果可能不佳,请根据实际情况选择合适的模型,更多模型请参考:支持的模型列表。
设置 > 模型供应商 > OpenLLM
facebook/opt-1.3b
http://<Machine_IP>:3333
Was this page helpful?