---
title: LLM
slug: llm
createdAt: 2024-09-05T13:00:09.926Z
---

### Definição

Invoca grandes modelos de linguagem para responder perguntas ou processar linguagem natural.

![](https://api.archbee.com/api/optimize/NB-ulyH02IT7Ep_VosDsd/d0YYAKUDPB6xTrtImyv1A_image.png)

### 
Cenários

O LLM é o nó central do Chatflow/Workflow, utilizando as capacidades de conversação/geração/classificação/processamento dos grandes modelos de linguagem para lidar com uma ampla gama de tarefas com base nos prompts fornecidos e pode ser usado em diferentes estágios dos workflows.

- **Reconhecimento de Intenção**: Em cenários de atendimento ao cliente, identificando e classificando consultas de usuários para orientar processos subsequentes.
- **Geração de Texto**: Em cenários de criação de conteúdo, gerando textos relevantes com base em temas e palavras-chave.
- **Classificação de Conteúdo**: Em cenários de processamento em lote de e-mails, categorizando automaticamente os e-mails, como consultas/reclamações/spam.
- **Conversão de Texto**: Em cenários de tradução, traduzindo o texto fornecido pelo usuário para um idioma especificado.
- **Geração de Código**: Em cenários de assistência de programação, gerando código de negócios específico ou escrevendo casos de teste com base nos requisitos do usuário.
- **RAG (Geração de Respostas Baseadas em Conhecimento)**: Em cenários de perguntas e respostas com base em uma base de conhecimento, reorganizando o conhecimento relevante recuperado para responder às perguntas dos usuários.
- **Compreensão de Imagens**: Usando modelos multimodais com capacidades visuais para entender e responder a perguntas sobre as informações contidas nas imagens.

Selecionando o modelo apropriado e escrevendo prompts, você pode construir soluções poderosas e confiáveis no Chatflow/Workflow.

### Como Configurar

![](https://api.archbee.com/api/optimize/NB-ulyH02IT7Ep_VosDsd/VH6ZtGrGOI-2LsOXe8nHl_image.png)

**Configuração do Nó LLM - Seleção de Modelo**
Passos de Configuração:

1. **Selecione um Modelo**: O *Paragraph* suporta os principais modelos globais, incluindo a série GPT da OpenAI, a série Claude da Anthropic e a série Gemini da Google. A escolha do modelo depende de sua capacidade de inferência, custo, velocidade de resposta, janela de contexto, etc. Você precisa selecionar um modelo adequado com base nos requisitos do cenário e no tipo de tarefa.
2. **Configurar Parâmetros do Modelo**: Os parâmetros do modelo controlam os resultados da geração, como temperatura, TopP, número máximo de tokens, formato de resposta, etc. Para facilitar a seleção, o sistema oferece três conjuntos de parâmetros predefinidos: Criativo, Balanceado e Preciso.
3. **Escrever Prompts**: O nó LLM oferece uma página de composição de prompts fácil de usar. Selecionar um modelo de chat ou de conclusão exibirá diferentes estruturas de composição de prompts.
4. **Configurações Avançadas**: Você pode habilitar memória, configurar janelas de memória e usar a linguagem de template Jinja-2 para prompts mais complexos.

Se você estiver usando o *Paragraph* pela primeira vez, precisa concluir a configuração do modelo em Configurações do Sistema — Provedores de Modelo antes de selecionar um modelo no nó LLM.

### Escrevendo Prompts

No nó LLM, você pode personalizar os prompts de entrada do modelo. Se selecionar um modelo de chat, você pode personalizar as seções SYSTEM/Usuário/ASSISTANT.

**Gerador de Prompts**
Se você estiver com dificuldades para criar prompts eficazes (SYSTEM), pode usar o Gerador de Prompts para criar rapidamente prompts adequados para seus cenários de negócios específicos, aproveitando as capacidades de IA.

![](https://api.archbee.com/api/optimize/NB-ulyH02IT7Ep_VosDsd/AAjTzbD43bpG1fk-vVioQ_image.png)

No editor de prompts, você pode chamar o menu de inserção de variáveis digitando "/" ou "\{" para inserir blocos de variáveis especiais ou variáveis de nós anteriores no prompt como conteúdo de contexto.

![](https://api.archbee.com/api/optimize/NB-ulyH02IT7Ep_VosDsd/QGDwI-A_ztkj2WJiQKGRP_image.png)

**Explicação de Variáveis Especiais**

- **Variáveis de Contexto**
  Variáveis de contexto são um tipo especial de variável definida no nó LLM, usada para inserir conteúdo de texto recuperado externamente no prompt.

![](https://api.archbee.com/api/optimize/NB-ulyH02IT7Ep_VosDsd/Y1sgbOxx2FrpkIfjuTbz4_image.png)

- **Histórico de Conversação**
  Para alcançar a memória de conversação em modelos de conclusão de texto (por exemplo, gpt-3.5-turbo-Instruct), o *Paragraph* projetou a variável de histórico de conversação no Prompt Expert Mode original (descontinuado). Esta variável foi transferida para o nó LLM no Chatflow, sendo usada para inserir o histórico de chat entre a IA e o usuário no prompt, ajudando o LLM a entender o contexto da conversa.

  A variável de histórico de conversação não é amplamente utilizada e só pode ser inserida ao selecionar modelos de conclusão de texto no Chatflow.

![](https://api.archbee.com/api/optimize/NB-ulyH02IT7Ep_VosDsd/eloR3vYHOV-IFa93EtZ23_image.png)

### Recursos Avançados

- **Memória**: Quando ativada, cada entrada para o classificador de intenção incluirá o histórico de conversas da conversa para ajudar o LLM a entender o contexto e melhorar a compreensão de KKKKKK em diálogos interativos.
- **Janela de Memória**: Quando a janela de memória está fechada, o sistema filtra dinamicamente a quantidade de histórico de conversas passado com base na janela de contexto do modelo; quando aberta, os usuários podem controlar precisamente a quantidade de histórico de conversas passada (em termos de números).
- **Configurações de Nome de Papel da Conversação**: Devido às diferenças nas fases de treinamento dos modelos, diferentes modelos seguem as instruções de nome de papel de maneiras diferentes, como Humano/Assistente, Humano/IA, Humano/Assistente, etc. Para adaptar-se aos efeitos de resposta de prompts de múltiplos modelos, o sistema fornece configurações de nome de papel da conversação. Modificar o nome do papel alterará o prefixo de papel no histórico da conversa.
- **Templates Jinja-2**: O editor de prompts do LLM suporta a linguagem de templates Jinja-2, permitindo que você aproveite essa poderosa linguagem de templates do Python para transformação leve de dados e processamento lógico. Consulte a documentação oficial.