---
title: Integrar Modelos Locais Implantados pelo Ollama
slug: integrar-modelos-locais-implantados-pelo-ollama
createdAt: 2024-09-03T19:46:24.455Z
---

::Image[]{src="https://api.archbee.com/api/optimize/NB-ulyH02IT7Ep_VosDsd/jXSiuMuHDw3_66ZMiGOnO_image.png" size="22" width="181" height="256" position="center" showCaption="false"}

O **Ollama** é um cliente de framework de inferência local que permite a implantação com um clique de LLMs, como Llama 2, Mistral, Llava, entre outros. O Paragraph suporta a integração das capacidades de LLM e Text Embedding de grandes modelos de linguagem implantados com o Ollama.

# Integração Rápida

## Baixar e Iniciar o Ollama

- Baixar Ollama

Visite [https://ollama.ai/download](https://ollama.ai/download) para baixar o cliente Ollama para o seu sistema.

- Execute o Ollama e converse com o Llava

```bash
ollama run llava
```

Após o lançamento bem-sucedido, o Ollama inicia um serviço de API na porta local 11434, que pode ser acessado em `http://localhost:11434`.

Para outros modelos, visite [Ollama Models](https://ollama.com/models) para mais detalhes.

- **Integrar Ollama no Paragraph**

Em **Configurações** > **Provedores de Modelos** > **Ollama**, preencha:

![](https://api.archbee.com/api/optimize/NB-ulyH02IT7Ep_VosDsd/NHlrhjPPzA-5c6jpzQRub_image.png)

- **Nome do Modelo**: `llava`
- **URL Base**: `http://<seu-domínio-endpoint-do-ollama>:11434`
- **Tipo de Modelo**: `Chat`
- **Comprimento do Contexto do Modelo**: `4096`

  O comprimento máximo de contexto do modelo. Se não tiver certeza, use o valor padrão de 4096.
- **Limite Máximo de Tokens**: `4096`

  O número máximo de tokens retornados pelo modelo. Se não houver requisitos específicos para o modelo, isso pode ser consistente com o comprimento do contexto do modelo.
- **Suporte para Visão**: `Sim`

  Marque esta opção se o modelo suportar compreensão de imagens (multimodal), como o `llava`.

Clique em "Salvar" para usar o modelo no aplicativo após verificar que não há erros.

O método de integração para modelos de Embeddings é semelhante ao de LLM, basta alterar o tipo de modelo para `Text Embedding`.

**Usar Modelos Ollama**

![](https://api.archbee.com/api/optimize/NB-ulyH02IT7Ep_VosDsd/lraR0JrJ2V9r0BZF5XX2z_image.png)

Acesse a página de **Prompt Eng.** do aplicativo que precisa ser configurado, selecione o modelo `llava` sob o provedor **Ollama** e use-o após configurar os parâmetros do modelo.

# FAQ

⚠️ Se você estiver usando Docker para implantar o Paragraph e o Ollama, pode encontrar o seguinte erro:

```bash
httpconnectionpool(host=127.0.0.1, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))
```

Esse erro ocorre porque o serviço Ollama não está acessível a partir do contêiner Docker. O localhost geralmente se refere ao próprio contêiner, não à máquina host ou a outros contêineres. Para resolver esse problema, você precisa expor o serviço Ollama para a rede.

## Configurando variáveis de ambiente no Mac

Se o Ollama for executado como um aplicativo macOS, as variáveis de ambiente devem ser configuradas usando `launchctl`:

Para cada variável de ambiente, chame `launchctl setenv`.

```bash
launchctl setenv OLLAMA_HOST "0.0.0.0"
```

Reinicie o aplicativo Ollama.

Se os passos acima não forem eficazes, você pode usar o seguinte método:

O problema está no próprio Docker, e para acessar o host do Docker, você deve conectar-se ao `host.docker.internal`. Portanto, substituir `localhost` por `host.docker.internal` no serviço fará com que funcione corretamente.

```bash
http://host.docker.internal:11434
```

## Configurando variáveis de ambiente no Linux

Se o Ollama for executado como um serviço `systemd`, as variáveis de ambiente devem ser configuradas usando `systemctl`:

Edite o serviço `systemd` chamando `systemctl edit ollama.service`. Isso abrirá um editor.

Para cada variável de ambiente, adicione uma linha `Environment` na seção `[Service]`:

```bash
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
```

Salve e saia.

Recarregue o `systemd` e reinicie o Ollama:

```bash
systemctl daemon-reload
systemctl restart ollama
```

## Configurando variáveis de ambiente no Windows

No Windows, o Ollama herda suas variáveis de ambiente de usuário e sistema.

Primeiro, saia do Ollama clicando nele na barra de tarefas.

Edite as variáveis de ambiente do sistema no painel de controle.

Edite ou crie novas variáveis para sua conta de usuário para `OLLAMA_HOST`, `OLLAMA_MODELS`, etc.

Clique em OK/Aplicar para salvar.

Execute o Ollama em uma nova janela de terminal.

### Como posso expor o Ollama na minha rede?

O Ollama vincula o `127.0.0.1` à porta `11434` por padrão. Altere o endereço de vinculação com a variável de ambiente `OLLAMA_HOST`.