Uma versão de prompt precisa permitir que a equipe descubra o que mudou, avalie o efeito e retorne a uma configuração conhecida quando necessário. Guardar o texto em um histórico é parte desse trabalho. A unidade de controle deve incluir também as informações e condições que influenciam a execução: modelo, contexto, ferramentas disponíveis e critérios de resposta. Sem essa ligação, duas execuções com o mesmo prompt podem estar sendo comparadas em condições diferentes.
Defina o que pertence à versão
Comece pelo que a equipe precisa reconstruir para investigar uma resposta. O texto de instrução pode ser igual, mas a política de recuperação de contexto pode ter mudado. Uma ferramenta pode devolver outro formato. Um modelo pode ter sido substituído. O registro deve permitir localizar essas diferenças.
Uma proposta de unidade de versão inclui:
- Identificador da instrução e conteúdo correspondente.
- Modelo ou configuração de modelo utilizada.
- Regra de seleção de contexto e suas referências.
- Ferramentas e contratos de entrada e saída.
- Critérios de avaliação e conjunto de casos usado.
- Responsável, motivo e data real da mudança.
Não é necessário duplicar todos os dados em cada registro. Referências estáveis para configurações e artefatos podem cumprir essa função. O importante é que a equipe consiga recuperar a condição relevante, e não apenas um nome de versão sem conteúdo verificável.
A Anthropic sobre engenharia de contexto inclui instruções, ferramentas, dados externos e histórico entre as informações disponíveis ao modelo durante a inferência. A aplicação ao versionamento é tratar a instrução como parte de uma configuração de execução.
Escreva o motivo antes de alterar a instrução
Uma mudança de prompt deve responder a um problema observado. “Melhorar a resposta” é amplo demais para orientar uma avaliação. Descreva o comportamento que precisa mudar e o que deve permanecer.
Por exemplo: a funcionalidade resume solicitações, mas omite restrições explícitas. A hipótese pode ser que uma instrução para identificar e preservar condições do pedido reduza essa omissão. A avaliação precisa examinar esse comportamento e verificar se o resumo continua útil e fiel ao conteúdo.
A Microsoft ExP descreve experimentação como validação de hipóteses, medição de impacto e iteração no desenvolvimento. A proposta aqui é manter essa ligação entre motivo, mudança e decisão. Nem todo ajuste pequeno exige um experimento controlado, mas precisa de uma forma de verificação proporcional ao efeito esperado.
Compare versões com casos que revelem a mudança
Use casos ligados ao problema que motivou a alteração e casos que representem comportamentos já aceitos. Avaliar apenas os exemplos que deram origem à mudança pode deixar de mostrar regressões em outras tarefas.
Registre as condições da comparação. Se a equipe alterou simultaneamente prompt, modelo e recuperação de documentos, a avaliação pode comparar o conjunto novo com o antigo. Ela não deve atribuir todo o efeito ao prompt sem outra evidência.
Defina antes o que conta como melhoria, regressão ou resultado inconclusivo. Quando a saída permite variação, avalie o comportamento relevante em vez de exigir uma frase idêntica. Preserve os resultados e a justificativa da decisão para que a próxima revisão não dependa da memória de quem participou.
Exemplo fictício: preservar condições em um resumo
Considere um produto que resume pedidos de alteração em projetos. A equipe identifica exemplos em que o texto gerado preserva o pedido principal, mas deixa de mencionar que a execução depende da aprovação de outra área.
Uma nova versão instrui o sistema a apresentar condições e pendências separadamente. A comparação inclui pedidos com condições explícitas, pedidos sem condições e mensagens ambíguas. A equipe observa se a mudança preserva restrições reais sem inventar novas dependências.
Se a versão melhorar os casos conhecidos, ainda será necessário examinar o uso permitido antes de ampliar a exposição. O exemplo não afirma que a alteração resolverá o problema. Ele mostra como ligar um ajuste de instrução a casos, critérios e uma decisão de liberação.
Prepare retorno sem ignorar os efeitos já produzidos
Voltar à versão anterior da instrução pode interromper um comportamento novo, mas não desfaz automaticamente ações já executadas. Diferencie retorno da configuração, correção de dados e comunicação aos usuários afetados.
Antes de liberar, registre quem pode restringir o uso, qual versão será restaurada e quais sinais justificam essa decisão. Confira também se o retorno continua compatível com ferramentas e contexto atuais. Uma versão antiga pode depender de um contrato que já mudou.
Para funcionalidades que apenas produzem rascunhos, o retorno pode ser simples. Para funcionalidades que acionam sistemas, a equipe precisa considerar o estado da tarefa e os efeitos externos. Esse cuidado deve fazer parte da decisão de produto, com participação de quem conhece a operação.
Use um registro curto de liberação
Um registro útil permite responder: por que mudamos, o que avaliamos, quais limites permanecem e como vamos acompanhar. Inclua a decisão tomada, sua evidência e a pessoa responsável por revisar os sinais posteriores.
Evite acumular versões sem indicar qual está ativa em cada contexto. Se grupos diferentes usam configurações diferentes, essa distinção precisa aparecer na observação e na investigação de problemas.
Antes do próximo ajuste de prompt, estabeleça uma versão recuperável da configuração atual e escolha os casos que poderão demonstrar o efeito da mudança. O histórico terá valor quando ajudar a decidir e a reconstruir o comportamento do produto.
Se quiser discutir essa decisão no contexto da sua empresa, converse com a dooop.
Leituras para continuar
- Inteligência no produto: como evoluir um software com IA
- Como avaliar personalização com inteligência artificial
- Como escolher uma funcionalidade de IA para o produto
Fontes
Para continuar esta leitura
Conversar sobre a aplicação na empresa
Conversa sobre o contexto da empresa de software
Conteúdo de dooop. O cadastro permite relacionar esta pauta à jornada do leitor e acompanhar o interesse pelo tema.