---
title: Criar Base de Conhecimento e Carregar Documentos
slug: criar-base-de-conhecimento-e-carregar-documentos
createdAt: 2024-09-05T18:00:04.760Z
---

### Criando uma Base de Conhecimento

Clique em **Conhecimento** na barra de navegação principal do *Paragraph*. Nesta página, você pode ver suas bases de conhecimento existentes. Clique em **Criar Conhecimento** para entrar no assistente de configuração:

![](https://api.archbee.com/api/optimize/NB-ulyH02IT7Ep_VosDsd/svV3VncjoGlNcsXTU5G1Z_image.png)

- Se você já tiver preparado os arquivos, pode começar carregando-os;
- Se ainda não tiver preparado documentos, pode primeiro criar uma base de conhecimento vazia.

![](https://api.archbee.com/api/optimize/NB-ulyH02IT7Ep_VosDsd/PnUBPwIoJ2LAHabXXxju__image.png)

Se você optar por usar uma fonte de dados externa ao criar uma base de conhecimento, o tipo de base de conhecimento não poderá ser alterado. Isso é para evitar dificuldades na gestão da base de conhecimento causadas por ter múltiplas fontes de dados em uma única base. Se precisar usar várias fontes de dados, é recomendado criar várias bases de conhecimento.

### Carregando Documentos

**Passos para carregar documentos na Base de Conhecimento:**

- Selecione o documento que deseja carregar de seus arquivos locais;
- Segmente e limpe o documento e pré-visualize o efeito;
- Escolha e configure o Modo de Indexação e as Configurações de Recuperação;
- Aguarde até que os fragmentos sejam incorporados;
- Carregamento concluído, agora você pode usá-lo em suas aplicações 🎉

**Limitações para carregamento de documentos**:

- O limite de tamanho de upload para um único documento é de 15MB;
- O número máximo de arquivos para upload em lote é 20;
- Diferentes planos de assinatura da versão SaaS limitam o número de uploads em lote, total de uploads de documentos e armazenamento de vetores.

### Segmentação e Limpeza

**Segmentação**: Modelos de linguagem têm uma janela de contexto limitada, geralmente exigindo que o texto inteiro seja segmentado e, em seguida, recuperando os segmentos mais relevantes para a pergunta do usuário, conhecido como o modo de recuperação TopK. Além disso, tamanhos apropriados de segmentos ajudam a corresponder ao conteúdo mais relevante e reduzir o ruído de informação ao fazer a correspondência semântica entre as perguntas dos usuários e os segmentos de texto.

**Limpeza**: Para garantir a qualidade da recuperação de texto, geralmente é necessário limpar os dados antes de passá-los para o modelo. Por exemplo, caracteres indesejados ou linhas em branco podem afetar a qualidade da resposta. O *Paragraph* oferece vários métodos de limpeza para ajudar a limpar a saída antes de enviá-la para as aplicações subsequentes.

A segmentação e a limpeza suportam duas estratégias de configuração:

- **Modo Automático** (a ser descontinuado)
- **Modo Personalizado**

![](https://api.archbee.com/api/optimize/NB-ulyH02IT7Ep_VosDsd/Rkul25xWATZy8mlX0CtY7_image.png)

No modo personalizado, os usuários podem configurar as definições de fragmentação e limpeza de acordo com diferentes formatos de documentos e requisitos de cenário.

**Regras de Segmentação**:

- Identificador de segmentação: Defina um identificador, como "\n", e o sistema segmentará o texto quando o identificador aparecer.
- Comprimento máximo do segmento: Segmente com base no limite máximo de caracteres do texto, segmentando forçadamente quando exceder esse comprimento.
- Comprimento de sobreposição do segmento: Defina o número de caracteres sobrepostos entre segmentos. Recomenda-se definir entre 10-25% do comprimento do segmento, o que ajuda a manter a relevância semântica entre os segmentos e melhora os resultados de recuperação durante a recuperação multi-segmentada.

**Regras de Pré-processamento**:

- Substituir espaços, quebras de linha e tabulações contínuos;
- Excluir todas as URLs e endereços de e-mail.

### Configuração Opcional de ETL

Em aplicações de nível de produção de RAG, para obter melhor recuperação de dados, dados de múltiplas fontes precisam ser pré-processados e limpos, ou seja, ETL (extrair, transformar e carregar). Para aprimorar as capacidades de pré-processamento de dados não estruturados/semi-estruturados, o *Paragraph* suporta soluções opcionais de ETL: *Paragraph* ETL e *Unstructured ETL*.

- **Soluções de ETL na versão SaaS**: Padrão é *Unstructured ETL* e não pode ser alterado;
- **Soluções de ETL na versão comunitária**: Padrão é *Paragraph* ETL, mas pode ativar o *Unstructured ETL* por meio de variáveis de ambiente.

Diferenças nos formatos de arquivos suportados para análise:

| *Paragraph* ETL                                         | *Unstructured ETL*                                                                      |
| ------------------------------------------------------- | --------------------------------------------------------------------------------------- |
| txt, markdown, md, pdf, html, htm, xlsx, xls, docx, csv | txt, markdown, md, pdf, html, htm, xlsx, xls, docx, csv, eml, msg, pptx, ppt, xml, epub |

Diferentes soluções de ETL podem ter diferenças nos efeitos de extração de arquivos. Para mais informações sobre os métodos de processamento de dados do *Unstructured ETL*, consulte a documentação oficial.

### Métodos de Indexação

Você precisa escolher o método de indexação do texto para especificar o método de correspondência de dados. A estratégia de indexação está frequentemente relacionada ao método de recuperação, e você deve escolher o método apropriado de acordo com o cenário.

**Modo de Alta Qualidade**: Utiliza a interface de embeddings da OpenAI para processamento, proporcionando maior precisão nas consultas dos usuários.

**Modo Econômico**: Usa indexação por palavras-chave, reduzindo a precisão, mas sem custos de tokens.

**Modo Q\&A** (apenas na versão comunitária): O modo de segmentação Q\&A difere do modo "Q para P" (pergunta para parágrafo) mencionado anteriormente. Ele usa o modo "Q para Q" (pergunta para pergunta). Cada segmento gera um par de correspondência Q\&A por meio da sumarização.

**Quando carregar documentos para a base de conhecimento, o sistema segmenta o texto para que as perguntas dos usuários (entrada) possam corresponder aos segmentos de texto relevantes (Q para P) e, finalmente, produzir o resultado.**

O texto da pergunta é em linguagem natural com estrutura gramatical completa, não apenas algumas palavras-chave em uma tarefa de recuperação de documentos. Portanto, o modo Q para Q (pergunta correspondendo a pergunta) torna a semântica e a correspondência mais claras e atende às necessidades de cenários com perguntas de alta frequência e alta semelhança.

![](https://api.archbee.com/api/optimize/NB-ulyH02IT7Ep_VosDsd/ieQIowIL8Yt-Hosm7IuY0_image.png)

![](https://api.archbee.com/api/optimize/NB-ulyH02IT7Ep_VosDsd/jB0Ggs5C4Ik8rWiR_a3EF_image.png)

### Configurações de Recuperação

No modo de indexação de alta qualidade, o *Paragraph* oferece três opções de recuperação:

- **Pesquisa Vetorial**: Gera embeddings de consulta e pesquisa o fragmento de texto mais semelhante à sua representação vetorial.
- **Pesquisa de Texto Completo**: Indexa todos os termos no documento, permitindo que os usuários pesquisem qualquer termo e recuperem o fragmento de texto relevante que contém esses termos.
- **Pesquisa Híbrida**: Executa pesquisas de texto completo e vetorial simultaneamente, reordenando para selecionar a melhor correspondência para a consulta do usuário. É necessário configurar a API do modelo de reordenação (Rerank).

**As configurações específicas para os três métodos de recuperação são as seguintes:**

**Pesquisa Vetorial**

**Definição**: Gerando embeddings de consulta para buscar o fragmento de texto mais semelhante à representação vetorial da consulta.

**Configurações de Pesquisa Vetorial**

- **TopK**: Este parâmetro filtra os fragmentos de texto que são mais semelhantes à pergunta do usuário. O sistema ajusta dinamicamente o número de trechos com base no tamanho da janela de contexto do modelo selecionado. O valor padrão é 3, o que significa que um valor maior resulta em mais segmentos de texto sendo recuperados.
- **Limite de Pontuação**: Este parâmetro define o limite de similaridade para filtrar os fragmentos de texto. Apenas os fragmentos que excederem a pontuação especificada serão recuperados. Por padrão, esta configuração está desativada, o que significa que não haverá filtragem de valores de similaridade para os fragmentos recuperados. Quando ativado, o valor padrão é 0.5. Um valor maior provavelmente resultará em menos textos recuperados.
- **Modelo de Reordenação (Rerank)**: Após configurar a chave da API para o modelo de reordenação na página "Provedor de Modelos", você pode habilitar o “Modelo de Reordenação” nas configurações de recuperação. O sistema realizará a reordenação semântica dos resultados recuperados após a pesquisa híbrida, otimizando os resultados de classificação. Uma vez estabelecido o modelo de reordenação, as configurações de TopK e Limite de Pontuação só entrarão em vigor durante a etapa de reordenação.

### Pesquisa de Texto Completo

**Definição**: Indexa todos os termos no documento, permitindo que os usuários consultem quaisquer termos e retornem fragmentos de texto contendo esses termos.

**Configurações de Pesquisa de Texto Completo**

- **TopK**: Este parâmetro filtra os fragmentos de texto que são mais semelhantes à pergunta do usuário. O sistema ajusta dinamicamente o número de trechos com base no tamanho da janela de contexto do modelo selecionado. O valor padrão é 3, o que significa que um valor maior resulta em mais segmentos de texto sendo recuperados.
- **Limite de Pontuação**: Este parâmetro define o limite de similaridade para filtrar os fragmentos de texto. Apenas os fragmentos que excederem a pontuação especificada serão recuperados. Por padrão, esta configuração está desativada, o que significa que não haverá filtragem de valores de similaridade para os fragmentos recuperados. Quando ativado, o valor padrão é 0.5. Um valor maior provavelmente resultará em menos textos recuperados.
- **Modelo de Reordenação (Rerank)**: Após configurar a chave da API para o modelo de reordenação na página "Provedor de Modelos", você pode habilitar o “Modelo de Reordenação” nas configurações de recuperação. O sistema realizará a reordenação semântica dos resultados recuperados após a pesquisa híbrida, otimizando os resultados de classificação. Uma vez estabelecido o modelo de reordenação, as configurações de TopK e Limite de Pontuação só entrarão em vigor durante a etapa de reordenação.

### Pesquisa Híbrida

**Definição**: Este processo realiza simultaneamente a pesquisa de texto completo e a pesquisa vetorial, incorporando uma etapa de reordenação para selecionar os melhores resultados que correspondem à consulta do usuário de ambos os tipos de resultados de pesquisa. Nesse modo, os usuários podem especificar "configurações de peso" sem a necessidade de configurar a API do modelo de reordenação, ou podem optar por um modelo de reordenação para a recuperação.

**Configurações de Pesquisa Híbrida**

**Configurações de Peso**: Esta função permite que os usuários definam pesos personalizados para a prioridade semântica e a prioridade de palavras-chave. A pesquisa por palavra-chave refere-se à realização de uma pesquisa de texto completo dentro da base de conhecimento, enquanto a pesquisa semântica envolve a pesquisa vetorial dentro da base de conhecimento.

**Valor Semântico de 1**: Isso ativa apenas o modo de pesquisa semântica. Utilizando modelos de embeddings, mesmo que os termos exatos da consulta não apareçam na base de conhecimento, a pesquisa pode explorar mais profundamente calculando distâncias vetoriais, retornando assim conteúdo relevante. Além disso, ao lidar com conteúdo multilíngue, a pesquisa semântica pode capturar o significado em diferentes idiomas, proporcionando resultados de busca mais precisos entre idiomas.

**Valor de Palavra-chave de 1**: Isso ativa apenas o modo de pesquisa por palavra-chave. Ele realiza uma correspondência exata com o texto de entrada na base de conhecimento, adequado para cenários onde o usuário conhece a informação exata ou a terminologia. Essa abordagem consome menos recursos computacionais e é ideal para buscas rápidas em uma grande base de conhecimento de documentos.

**Pesos Personalizados de Palavra-chave e Semântica**: Além de permitir apenas a pesquisa semântica ou por palavra-chave, fornecemos configurações flexíveis de pesos personalizados. Você pode ajustar continuamente os pesos dos dois métodos para identificar a proporção de peso ideal que se adapta ao seu cenário de negócios.

**TopK**: Este parâmetro filtra os fragmentos de texto que são mais semelhantes à pergunta do usuário. O sistema ajusta dinamicamente o número de trechos com base no tamanho da janela de contexto do modelo selecionado. O valor padrão é 3, o que significa que um valor maior resulta em mais segmentos de texto sendo recuperados.

**Limite de Pontuação**: Este parâmetro define o limite de similaridade para filtrar os fragmentos de texto. Apenas os fragmentos que excederem a pontuação especificada serão recuperados. Por padrão, esta configuração está desativada, o que significa que não haverá filtragem de valores de similaridade para os fragmentos recuperados. Quando ativado, o valor padrão é 0.5. Um valor maior provavelmente resultará em menos textos recuperados.

**Modelo de Reordenação (Rerank)**: Após configurar a chave da API para o modelo de reordenação na página "Provedor de Modelos", você pode habilitar o “Modelo de Reordenação” nas configurações de recuperação. O sistema realizará a reordenação semântica dos resultados recuperados após a pesquisa híbrida, otimizando os resultados de classificação. Uma vez estabelecido o modelo de reordenação, as configurações de TopK e Limite de Pontuação só entrarão em vigor durante a etapa de reordenação.