Moderação

este módulo é usado para revisar o conteúdo inserido pelos usuários finais e o conteúdo de saída do llm dentro da aplicação ele é dividido em dois tipos de pontos de extensão pontos de extensão app moderation input ponto de extensão para revisar o conteúdo de entrada do usuário final usado para revisar o conteúdo das variáveis passadas pelos usuários finais e o conteúdo de entrada de aplicativos de conversação app moderation output ponto de extensão para revisar o conteúdo de saída do llm ponto de extensão app moderation input corpo da requisição { "point" "app moderation input", // tipo de ponto de extensão, fixado como app moderation input aqui "params" { "app id" "string", // id da aplicação "inputs" { // valores das variáveis passadas pelos usuários finais, a chave é o nome da variável, o valor é o valor da variável "var 1" "value 1", "var 2" "value 2", }, "query" "string | null" // conteúdo atual de entrada da conversa pelo usuário final, parâmetro fixo para aplicativos de conversação } } exemplo { "point" "app moderation input", "params" { "app id" "61248ab4 1125 45be ae32 0ce91334d021", "inputs" { "var 1" "i will kill you ", "var 2" "i will fuck you " }, "query" "happy everydays " } } resposta da api { "flagged" "bool", // se viola as regras de moderação "action" "string", // ação a ser tomada, direct output para saída direta de uma resposta predefinida; overrided para substituir os valores das variáveis de entrada "preset response" "string", // resposta predefinida (retornado apenas quando action=direct output) "inputs" { // valores das variáveis passadas pelos usuários finais, a chave é o nome da variável, o valor é o valor da variável (retornado apenas quando action=overrided) "var 1" "value 1", "var 2" "value 2", }, "query" "string | null" // conteúdo atual de entrada da conversa pelo usuário final, substituído, parâmetro fixo para aplicativos de conversação (retornado apenas quando action=overrided) } exemplo action=direct output { "flagged" true, "action" "direct output", "preset response" "your content violates our usage policy " } action=overrided { "flagged" true, "action" "overrided", "inputs" { "var 1" "i will you ", "var 2" "i will you " }, "query" "happy everydays " } ponto de extensão app moderation output corpo da requisição { "point" "app moderation output", // tipo de ponto de extensão, fixado como app moderation output aqui "params" { "app id" "string", // id da aplicação "text" "string" // conteúdo de resposta do llm quando a saída do llm é transmitida, este será o conteúdo segmentado em blocos de 100 caracteres } } exemplo { "point" "app moderation output", "params" { "app id" "61248ab4 1125 45be ae32 0ce91334d021", "text" "i will kill you " } } resposta da api { "flagged" "bool", // se viola as regras de moderação "action" "string", // ação a ser tomada, direct output para saída direta de uma resposta predefinida; overrided para substituir os valores das variáveis de entrada "preset response" "string", // resposta predefinida (retornado apenas quando action=direct output) "text" "string" // conteúdo de resposta do llm substituído (retornado apenas quando action=overrided) } exemplo action=direct output { "flagged" true, "action" "direct output", "preset response" "your content violates our usage policy " } action=overrided { "flagged" true, "action" "overrided", "text" "i will you " }