Integrar Modelos Locais Implantados pelo OpenLLM

Com o OpenLLM, você pode executar inferências com qualquer modelo de linguagem de grande porte de código aberto, implantar na nuvem ou on-premises, e construir aplicativos de IA poderosos. O Paragraph suporta a conexão com as capacidades de inferência de modelos de linguagem de grande porte implantados localmente pelo OpenLLM.

Implantar Modelo OpenLLM Iniciando o OpenLLM Cada servidor OpenLLM pode implantar um modelo, e você pode fazer a implantação da seguinte maneira:

Nota: Usar o modelo facebook/opt-1.3b aqui é apenas para demonstração, e o efeito pode não ser ideal. Escolha o modelo apropriado de acordo com a situação real. Para mais modelos, consulte: Lista de Modelos Suportados.

Depois que o modelo for implantado, use o modelo conectado no Paragraph.

Preencha em Configurações > Provedores de Modelos > OpenLLM:

Clique em "Salvar" e o modelo poderá ser usado no aplicativo.

Esta instrução é apenas para uma conexão rápida como exemplo.