设置 > 模型供应商 > Hugging Face > 模型类型
的 Endpoint Type 选择 Hosted Inference API。如下图所示:
Deploy
按钮下有 Inference Endpoints 选项的模型才支持 Inference Endpoint。如下图所示:
设置 > 模型供应商 > Hugging Face > 模型类型
的 Endpoint Type 选择 Inference Endpoints。如下图所示:
Text-Generation 模型名字随便起,Embeddings 模型名字需要跟 Hugging Face 的保持一致。
Endpoint URL 为 上一步部署模型成功后获得的 Endpoint URL。
注意:Embeddings 的「用户名 / 组织名称」,需要根据你在 Hugging Face 的 Inference Endpoints 部署方式,来填写「用户名」或者「组织名称」。