--- title: Integrar Modelos Locais Implantados pelo OpenLLM slug: integrar-modelos-locais-implantados-pelo-openllm createdAt: 2024-09-03T19:36:10.727Z --- Com o OpenLLM, você pode executar inferências com qualquer modelo de linguagem de grande porte de código aberto, implantar na nuvem ou on-premises, e construir aplicativos de IA poderosos. O Paragraph suporta a conexão com as capacidades de inferência de modelos de linguagem de grande porte implantados localmente pelo OpenLLM. **Implantar Modelo OpenLLM** **Iniciando o OpenLLM** Cada servidor OpenLLM pode implantar um modelo, e você pode fazer a implantação da seguinte maneira: ```bash docker run --rm -it -p 3333:3000 ghcr.io/bentoml/openllm start facebook/opt-1.3b --backend pt ``` Nota: Usar o modelo `facebook/opt-1.3b` aqui é apenas para demonstração, e o efeito pode não ser ideal. Escolha o modelo apropriado de acordo com a situação real. Para mais modelos, consulte: **Lista de Modelos Suportados**. Depois que o modelo for implantado, use o modelo conectado no Paragraph. Preencha em **Configurações** > **Provedores de Modelos** > **OpenLLM**: - Nome do Modelo: `facebook/opt-1.3b` - URL do Servidor: `http://:3333` (Substitua pelo endereço IP da sua máquina) Clique em "Salvar" e o modelo poderá ser usado no aplicativo. Esta instrução é apenas para uma conexão rápida como exemplo.