Integração com Langfuse
O que é Langfuse
Langfuse é uma plataforma de código aberto para engenharia de LLM que ajuda equipes a colaborar na depuração, análise e iteração de suas aplicações.
Introdução ao Langfuse: Langfuse
Como Configurar o Langfuse
1.Registre-se e faça login no Langfuse no site oficial.
2.Crie um projeto no Langfuse. Após fazer login, clique em "New" na página inicial para criar seu próprio projeto. O projeto será usado para associar com as aplicações no Paragraph para monitoramento de dados.
Edite o nome do projeto
3.Crie as credenciais da API do projeto. Na barra lateral esquerda do projeto, clique em "Configurações" para abrir as configurações.
Nas configurações, clique em "Criar Chaves de API" para gerar as credenciais da API do projeto.
Copie e salve a Secret Key, Public Key e o Host
4.Configure o Langfuse no Paragraph. Abra a aplicação que você precisa monitorar, acesse a opção "Monitoramento" no menu lateral e selecione "Rastreamento de desempenho da aplicação" na página.
Após clicar em "Configurar", cole a Secret Key, Public Key e o Host criados no Langfuse na configuração e salve.
Após salvar com sucesso, você poderá visualizar o status na página atual. Se estiver exibindo "Iniciado", o monitoramento está ativo.
Visualizando Monitoramento de Dados no Lagfuse
Após a configuração, os dados de depuração ou de produção da aplicação no Paragraph podem ser visualizados no Langfuse.
Lista de Dados de Monitoramento
Rastreamento de informações de Workflow e Chatflow Rastreando workflow e chatflow
Informações de Rastreamento de Workflow
- workflow_id: ID único do Workflow
- conversation_id: ID da conversa
- workflow_run_id: ID do Workflow desta execução
- tenant_id: ID do tenant
- elapsed_time: Tempo decorrido nesta execução
- status: Status da execução
- version: Versão do workflow
- total_tokens: Total de tokens usados nesta execução
- file_list: Lista de arquivos processados
- triggered_from: Fonte que acionou esta execução
- workflow_run_inputs: Entrada deste workflow
- workflow_run_outputs: Saída deste workflow
- error: Mensagem de erro
- query: Consultas usadas na execução
- workflow_app_log_id: ID do log da aplicação do workflow
- message_id: ID da Mensagem relevante
- start_time: Hora de início desta execução
- end_time: Hora de término desta execução
- workflow node executions: Informações de execução dos nós do workflow
Metadata
- workflow_id: ID único do Workflow
- conversation_id: ID da conversa
- workflow_run_id: ID do Workflow desta execução
- tenant_id: ID do tenant
- elapsed_time: Tempo decorrido nesta execução
- status: Estado operacional
- version: Versão do workflow
- total_tokens: Total de tokens usados nesta execução
- file_list: Lista de arquivos processados
- triggered_from: Fonte que acionou esta execução
Informações de Rastreamento de Mensagens
Para rastrear conversas LLM
Mensagem | Geração/Rastreamento LangFuse |
|---|---|
message_id | id |
user_session_id | user_id |
message_{id} | name |
start_time | start_time |
end_time | end_time |
inputs | input |
outputs | output |
Consumo de tokens do modelo | usage |
metadata | metadata |
error | level |
[mensagem, modo de conversa] | tags |
conversation_id | session_id |
conversion_id | parent_observation_id |
Informações de Rastreamento de Mensagens
- message_id: ID da Mensagem
- message_data: Dados da mensagem
- user_session_id: ID da sessão do usuário
- conversation_model: Modelo de conversação
- message_tokens: Tokens da mensagem
- answer_tokens: Tokens da resposta
- total_tokens: Total de Tokens da Mensagem e Resposta
- error: Mensagem de erro
- inputs: Dados de entrada
- outputs: Dados de saída
- file_list: Lista de arquivos processados
- start_time: Hora de início
- end_time: Hora de término
- message_file_data: Dados do arquivo relevante da mensagem
- conversation_mode: Modo de conversa
Metadata
- conversation_id: ID da conversa
- ls_provider: Provedor do modelo
- ls_model_name: ID do modelo
- status: Status da mensagem
- from_end_user_id: ID do usuário remetente
- from_account_id: ID da conta remetente
- agent_based: Se é baseado em agente
- workflow_run_id: ID do Workflow desta execução
- from_source: Fonte da mensagem
- message_id: ID da Mensagem
Informações de Rastreamento de Moderação
Usado para rastrear moderação de conversas
Moderação | Geração/Rastreamento LangFuse |
|---|---|
user_id | user_id |
moderação | name |
start_time | start_time |
end_time | end_time |
inputs | input |
outputs | output |
metadata | metadata |
[moderação] | tags |
message_id | parent_observation_id |
Informações de Rastreamento de Moderação
- message_id: ID da Mensagem
- user_id: ID do usuário
- workflow_app_log_id: workflow_app_log_id
- inputs: Dados de entrada para revisão
- message_data: Dados da Mensagem
- flagged: Se foi sinalizado para atenção
- action: Ações específicas a serem implementadas
- preset_response: Resposta predefinida
- start_time: Hora de início da revisão
- end_time: Hora de término da revisão
Metadata
- message_id: ID da Mensagem
- action: Ações específicas a serem implementadas
- preset_response: Resposta predefinida
Informações de Rastreamento de Perguntas Sugeridas
Usado para rastrear perguntas sugeridas
Pergunta Sugerida | Geração/Rastreamento LangFuse |
|---|---|
user_id | user_id |
pergunta_sugerida | name |
start_time | start_time |
end_time | end_time |
inputs | input |
outputs | output |
metadata | metadata |
[pergunta_sugerida] | tags |
message_id | parent_observation_id |
Informações de Rastreamento de Perguntas Sugeridas
- message_id: ID da Mensagem
- message_data: Dados da mensagem
- inputs: Dados de entrada
- outputs: Dados de saída
- start_time: Hora de início
- end_time: Hora de término
- total_tokens: Total de tokens
- status: Status da Mensagem
- error: Mensagem de erro
- from_account_id: ID da conta remetente
- agent_based: Se é baseado em agente
- from_source: Fonte da mensagem
- model_provider: Provedor do modelo
- model_id: ID do modelo
- suggested_question: Pergunta sugerida
- level: Nível de status
- status_message: Status da mensagem
Metadata
- message_id: ID da Mensagem
- **ls
_provider**: Provedor do Modelo
- ls_model_name: ID do Modelo
- status: Status da mensagem
- from_end_user_id: ID do usuário remetente
- from_account_id: ID da conta remetente
- workflow_run_id: ID do Workflow desta execução
- from_source: Fonte da mensagem
Informações de Rastreamento de Recuperação de Conjunto de Dados
Usado para rastrear a recuperação da base de conhecimento
Recuperação de Conjunto de Dados | Geração/Rastreamento LangFuse |
|---|---|
user_id | user_id |
recuperação_conjunto_dados | name |
start_time | start_time |
end_time | end_time |
inputs | input |
outputs | output |
metadata | metadata |
[recuperação_conjunto_dados] | tags |
message_id | parent_observation_id |
Informações de Rastreamento de Recuperação de Conjunto de Dados
- message_id: ID da Mensagem
- inputs: Mensagem de entrada
- documents: Dados do documento
- start_time: Hora de início
- end_time: Hora de término
- message_data: Dados da mensagem
Metadata
- message_id: ID da Mensagem
- ls_provider: Provedor do Modelo
- ls_model_name: ID do Modelo
- status: Status do Modelo
- from_end_user_id: ID do usuário remetente
- from_account_id: ID da conta remetente
- agent_based: Se é baseado em agente
- workflow_run_id: ID do Workflow desta execução
- from_source: Fonte da Mensagem
Informações de Rastreamento de Ferramentas
Usado para rastrear a invocação de ferramentas
Ferramenta | Geração/Rastreamento LangFuse |
|---|---|
user_id | user_id |
nome_ferramenta | name |
start_time | start_time |
end_time | end_time |
inputs | input |
outputs | output |
metadata | metadata |
["ferramenta", nome_ferramenta] | tags |
message_id | parent_observation_id |
Informações de Rastreamento de Ferramentas
- message_id: ID da Mensagem
- nome_ferramenta: Nome da ferramenta
- start_time: Hora de início
- end_time: Hora de término
- tool_inputs: Entradas da ferramenta
- tool_outputs: Saídas da ferramenta
- message_data: Dados da mensagem
- error: Mensagem de erro, se existir
- inputs: Entrada da Mensagem
- outputs: Saída da Mensagem
- tool_config: Configuração da ferramenta
- time_cost: Custo de tempo
- tool_parameters: Parâmetros da ferramenta
- file_url: URL dos arquivos relevantes
Metadata
- message_id: ID da Mensagem
- tool_name: Nome da Ferramenta
- tool_inputs: Entradas da ferramenta
- tool_outputs: Saídas da ferramenta
- tool_config: Configuração da ferramenta
- time_cost: Custo de tempo
- error: Mensagem de erro
- tool_parameters: Parâmetros da ferramenta
- message_file_id: ID do arquivo da mensagem
- created_by_role: Criado pelo papel
- created_user_id: ID do usuário criador
Rastreamento de Geração de Nome
Usado para rastrear a geração do título da conversa
Geração de Nome | Geração/Rastreamento LangFuse |
|---|---|
user_id | user_id |
gerar_nome | name |
start_time | start_time |
end_time | end_time |
inputs | input |
outputs | output |
metadata | metadata |
[gerar_nome] | tags |
Informações de Rastreamento de Geração de Nome
- conversation_id: ID da Conversa
- inputs: Dados de entrada
- outputs: Nome da sessão gerado
- start_time: Hora de início
- end_time: Hora de término
- tenant_id: ID do tenant
Metadata
- conversation_id: ID da Conversa
- tenant_id: ID do tenant
Se precisar de mais alguma coisa, estou à disposição!