Integre Modelos Open Source do Hugging Face
O Paragraph suporta Geração de Texto e Embeddings. Abaixo estão os tipos de modelos correspondentes do Hugging Face:
- Geração de Texto: text-generation, text2text-generation
- Embeddings: feature-extraction
Os passos específicos são os seguintes:
- Você precisará de uma conta no Hugging Face.
- Defina a chave da API do Hugging Face.
- Selecione um modelo para acessar a página da lista de modelos do Hugging Face.
O Paragraph suporta o acesso a modelos no Hugging Face de duas maneiras:
- Hosted Inference API. Esse método usa o modelo implantado oficialmente pelo Hugging Face. Não é necessário pagar nenhuma taxa, mas a desvantagem é que apenas um número limitado de modelos suporta essa abordagem.
- Inference Endpoint. Esse método usa recursos como AWS acessados pelo Hugging Face para implantar o modelo e requer pagamento.
Modelos que acessam a Hosted Inference API
- Selecione um modelo A Hosted Inference API é suportada apenas quando há uma área contendo Hosted Inference API no lado direito da página de detalhes do modelo, conforme mostrado na imagem abaixo:
Na página de detalhes do modelo, você pode obter o nome do modelo.
- Usando modelos de acesso no Paragraph Selecione Hosted Inference API para o Tipo de Endpoint em Configurações > Provedor de Modelos > Hugging Face > Tipo de Modelo. Como mostrado abaixo:
O Token da API é a chave da API definida no início do artigo. O nome do modelo é o nome do modelo obtido na etapa anterior.
Método 2: Inference Endpoint
- Selecione o modelo para implantar O Inference Endpoint é suportado apenas para modelos com a opção Inference Endpoints sob o botão Deploy no lado direito da página de detalhes do modelo, conforme mostrado abaixo:
- Implantação do modelo Clique no botão Deploy para o modelo e selecione a opção Inference Endpoint. Se você não tiver vinculado um cartão de crédito anteriormente, será necessário vinculá-lo. Basta seguir o processo. Após vincular o cartão, a seguinte interface aparecerá:
Modifique a configuração conforme necessário e clique em Create Endpoint no canto inferior esquerdo para criar um Inference Endpoint.
Depois que o modelo for implantado, você poderá ver a URL do Endpoint.
- Usando modelos de acesso no Paragraph Selecione Inference Endpoints para o Tipo de Endpoint em Configurações > Provedor de Modelos > Hugging Face > Tipo de Modelo. Como mostrado abaixo:
O Token da API é a chave da API definida no início do artigo. O nome do modelo de Geração de Texto pode ser arbitrário, mas o nome do modelo de Embeddings precisa ser consistente com o Hugging Face. A URL do Endpoint é a URL do Endpoint obtida após a implantação bem-sucedida do modelo na etapa anterior.
Nota: O "Nome de Usuário / Nome da Organização" para Embeddings precisa ser preenchido de acordo com o seu método de implantação nos Inference Endpoints do Hugging Face, com o "Nome de Usuário" ou o "Nome da Organização".