[Atualização] Mudanças nos modelos NLU compatíveis com o Dialogflow CX 

Estamos escrevendo para informar você sobre as mudanças nos modelos NLU compatíveis com o Dialogflow CX. Como um esforço para consolidar e atualizar os modelos NLU para os mais recentes do Google, todos os agentes NLU padrão serão migrados para NLU avançado no Dialogflow CX a partir de 1º de março de 2024 .

Se você não usar o NLU padrão em nenhum dos seus agentes do Dialogflow CX, o restante desta mensagem não se aplicará a você. Se você usa o NLU padrão, leia mais para entender o impacto e suas opções.

O que você precisa saber?

A partir de 1º de março de 2024, todos os clientes que permanecerem no NLU Padrão começarão a ser migrados automaticamente para o NLU Avançado.

A migração do NLU padrão para o NLU avançado é uma atualização de modelo e geralmente espera-se que melhore a precisão da correspondência de intenções. Dado que os dois modelos são inerentemente diferentes, pode-se esperar uma diferença nas pontuações de confiança das intenções em um cenário específico.

Embora esperemos que a maioria dos clientes não veja nenhuma mudança significativa ou uma melhoria no desempenho do agente, alguns agentes virtuais do Dialogflow CX podem ver um aumento na ausência de correspondências ou em alguns casos de teste com falha, dependendo do limite de confiança de ML definido no seu agente e da existência de qualquer sobreposição entre intenções.

O que você precisa fazer?

Você tem duas opções de migração:

Preferencial: alterar modelo para migrar antes de 29 de fevereiro de 2024

Para migrar mais cedo, você precisará alterar o modelo de ML usando o console do Dialogflow do seu agente. No entanto, antes de fazer isso, recomendamos fortemente que você teste o NLU avançado em seus agentes usando as etapas listadas abaixo.

Migrar automaticamente

Para ser migrado automaticamente, nenhuma ação é necessária de sua parte. Atualizaremos automaticamente o modelo NLU do seu agente para NLU avançado.

Recomendamos fortemente testar seu agente com Advanced NLU, independentemente da opção de migração escolhida. Para fazer isso, recomendamos as seguintes etapas:

1. Crie uma cópia do seu agente de produção em um agente separado ou em um projeto separado.

2. Mude de NLU padrão para NLU avançado para todos os fluxos no novo agente usando o menu suspenso 'Tipo de NLU' na guia 'ML' nas configurações do agente no console do Dialogflow.

3. Prepare um conjunto de dados de teste para avaliação usando planilhas do Google contendo as seguintes colunas:

   1. Nome de exibição do fluxo: Nome de exibição do fluxo onde a expressão (ou seja, entrada do usuário) será avaliada (por exemplo, Fluxo inicial padrão).

   2. Nome de exibição da página: Nome de exibição da página no fluxo escolhido onde o enunciado será avaliado (por exemplo, Página inicial).

   3. Enunciado: Enunciado/entrada do usuário que será avaliada.

   4. Intenção esperada: nome de exibição da intenção esperada para o enunciado.

   5. Frequência: Coluna opcional para calcular a precisão ponderada. Se a coluna não existir, a frequência será considerada 1 para cada expressão.

Para obter detalhes sobre o conjunto de dados e dados de exemplo, consulte o arquivo Google Colab hospedado no Git .

Recomendamos ter pelo menos 400-500 declarações no conjunto de dados para uma avaliação correta, mas quanto mais, melhor. As contribuições do usuário coletadas dos dados de produção podem fornecer uma avaliação mais precisa.

4. Execute o arquivo Google Colab em colab.research.google.com usando seus agentes novos e existentes e o conjunto de dados nas planilhas do Google conforme descrito acima. A colaboração não fornecerá porcentagem de correspondência e porcentagem de aprovação (porcentagem de precisão de correspondência de intenção).

5. Se você observar um aumento na porcentagem sem correspondência, diminua o limite de confiança de ML em seu agente NLU avançado e execute o colab novamente, ao mesmo tempo em que observa a precisão da correspondência de intenções usando a porcentagem de aprovação fornecida. Altere o limite de confiança até que nenhuma correspondência e as porcentagens de aprovação atendam às suas expectativas.

6. Não são esperadas regressões na porcentagem de correspondência de intenções, desde que o limite ideal seja selecionado. Se você observar uma queda nessa métrica, crie um caso de suporte com os detalhes para que possamos ajudar a solucionar o problema.

Nós estamos aqui para ajudar

Se você tiver alguma dúvida ou precisar de ajuda, envie um e-mail para growth@santodigital.com.br