Quando uma funcionalidade de IA usa conhecimento desatualizado, a correção precisa alcançar a informação que orienta a resposta e o caminho que a seleciona. Alterar uma frase do prompt pode não resolver uma base antiga, uma referência incorreta ou um histórico que continua sendo recuperado. Defina quem responde pela informação, como sua validade será examinada e o que o produto fará quando não conseguir confirmar que ela ainda serve à tarefa.
Localize a informação que influenciou a resposta
Comece pela execução observada. Que documento, registro, histórico ou instrução foi disponibilizado ao modelo? O texto apresentado ao usuário pode combinar fontes de momentos diferentes. A investigação precisa localizar o material efetivamente usado, não apenas a versão atual que alguém encontrou depois.
A Anthropic sobre engenharia de contexto inclui instruções, ferramentas, dados externos e histórico entre as informações disponíveis durante a inferência. Essa definição ajuda a ampliar a investigação: o conhecimento desatualizado pode estar em mais de uma camada do produto.
Registre o tipo de informação e o comportamento afetado. Um nome antigo pode pedir uma correção simples. Uma regra que orienta o próximo passo da tarefa pode exigir restringir a recomendação enquanto a fonte é conferida.
Defina validade conforme o uso
Não adote um único prazo para toda informação sem considerar sua finalidade. Uma explicação conceitual, uma configuração ativa e o estado de uma solicitação têm condições de atualização diferentes. A regra deve dizer o que precisa ser conferido e quando.
Uma ficha de validade pode incluir:
- Fonte responsável e pessoa ou área mantenedora.
- Data da informação e data da última verificação, quando disponíveis.
- Contexto e tarefa em que o conteúdo pode ser usado.
- Evento que obriga uma revisão.
- Comportamento quando a validade não pode ser confirmada.
Datas ausentes devem permanecer visíveis como ausência de informação. Não use a data de importação do arquivo como se fosse a data de atualização de seu conteúdo. Essa distinção evita uma aparência de frescor sem evidência correspondente.
Corrija a origem e a seleção do contexto
Se a fonte está errada, a correção deve chegar à origem pertinente. Se a fonte está correta, mas o produto recupera uma versão antiga, examine a seleção, a indexação ou o caminho de acesso. Se o histórico preserva uma decisão superada, defina como ela deixará de orientar novas respostas.
Esses são caminhos de investigação, não um diagnóstico antecipado. A equipe precisa observar qual mecanismo atuou na execução. Trocar o modelo sem examinar a informação disponível pode deixar a causa relevante intacta.
O DORA sobre qualidade da documentação destaca clareza, facilidade de localização e confiabilidade, além de manutenção ativa. Aplicada ao conhecimento utilizado pelo produto, essa orientação reforça a necessidade de um responsável e de um caminho encontrável para correção.
Exemplo fictício: uma orientação baseada em processo antigo
Imagine um sistema interno que ajuda pessoas a encaminhar solicitações. A empresa mudou o processo de aprovação, mas uma página antiga continua disponível na base consultada. O assistente orienta o usuário a procurar uma área que já não participa do fluxo.
A investigação identifica qual página foi usada e confere a regra atual com a área responsável. A correção pode envolver atualizar a fonte, retirar a versão antiga da seleção e avaliar casos que usam a mesma orientação. Se outros conteúdos ainda dependem da regra anterior, eles também precisam ser identificados.
O produto pode oferecer o caminho manual confirmado enquanto a correção é verificada. O exemplo não presume que atualizar um documento resolve todas as execuções. Ele mostra por que a equipe deve conferir a fonte, o mecanismo de seleção e o comportamento depois da mudança.
Escolha como responder quando falta confirmação
O comportamento deve acompanhar a importância da informação para a tarefa. Uma resposta pode informar a data disponível, solicitar confirmação, apresentar a fonte para consulta ou deixar de recomendar uma ação até que exista evidência suficiente.
Evite um aviso genérico que mantenha a mesma recomendação sem oferecer alternativa. Se a validade altera a decisão, o usuário precisa saber o que pode fazer com essa incerteza. A interface e o suporte devem usar a mesma orientação.
Também diferencie ausência de informação e conflito entre fontes. No segundo caso, escolher silenciosamente uma versão pode esconder uma decisão de negócio que precisa de responsável. Registre a divergência e o critério que permitirá resolvê-la.
Verifique a correção e mantenha um caminho de revisão
Depois da alteração, execute casos que revelaram o problema e casos próximos. Confira se o produto usa a informação esperada e se deixou de apresentar a orientação superada nas condições avaliadas.
Acompanhe relatos posteriores com referência à versão corrigida. Se o problema reaparecer, a equipe precisa distinguir uma falha na correção, outro caminho de recuperação ou uma nova mudança de contexto. Sem esse registro, cada ocorrência parece começar do zero.
Escolha uma informação importante da funcionalidade e percorra sua cadeia: origem, validade, seleção, resposta e correção. O conhecimento será mais administrável quando a organização conseguir identificar quem o mantém e o que o produto faz quando sua validade fica em dúvida.
Se quiser discutir essa decisão no contexto da sua empresa, converse com a dooop.
Leituras para continuar
- Inteligência no produto: como evoluir um software com IA
- Como integrar ferramentas externas a um agente de produto
- Como escolher uma funcionalidade de IA para o produto
Fontes
Para continuar esta leitura
Conversar sobre a aplicação na empresa
Conversa sobre o contexto da empresa de software
Conteúdo de dooop. O cadastro permite relacionar esta pauta à jornada do leitor e acompanhar o interesse pelo tema.