Integrar Modelos Locais Implantados pelo OpenLLM

com o openllm, você pode executar inferências com qualquer modelo de linguagem de grande porte de código aberto, implantar na nuvem ou on premises, e construir aplicativos de ia poderosos o paragraph suporta a conexão com as capacidades de inferência de modelos de linguagem de grande porte implantados localmente pelo openllm implantar modelo openllm iniciando o openllm cada servidor openllm pode implantar um modelo, e você pode fazer a implantação da seguinte maneira docker run rm it p 3333 3000 ghcr io/bentoml/openllm start facebook/opt 1 3b backend pt nota usar o modelo facebook/opt 1 3b aqui é apenas para demonstração, e o efeito pode não ser ideal escolha o modelo apropriado de acordo com a situação real para mais modelos, consulte lista de modelos suportados depois que o modelo for implantado, use o modelo conectado no paragraph preencha em configurações > provedores de modelos > openllm nome do modelo facebook/opt 1 3b url do servidor http //\<ip da máquina> 3333 (substitua pelo endereço ip da sua máquina) clique em "salvar" e o modelo poderá ser usado no aplicativo esta instrução é apenas para uma conexão rápida como exemplo