Anderson Gonçalves

HTN Method Selection Guided by Multi-Objective Reinforcement Learning and Dynamic Preferences

Pesquisa de mestrado · IA para Jogos · UFRGS

Instituto de Informática, Universidade Federal do Rio Grande do Sul

O HTN define o que é válido.

O MORL aprende o que é preferível.

As preferências dinâmicas determinam o que importa agora.

Quero um agente que fique dentro das regras que recebeu e ainda assim siga prioridades que mudam enquanto ele roda. Uma rede hierárquica de tarefas resolve a primeira parte: o agente só faz o que o domínio permite, então é válido por construção. O preço é a rigidez. Quando segurança passa a valer mais que velocidade, alguém precisa reescrever o domínio. Soltar um aprendiz sobre as ações primitivas tira a rigidez e leva a garantia junto. O meu mestrado move o aprendizado para a escolha do método. O NPC é a bancada de teste: ali o agente trabalha com informação parcial e prazo por quadro, e o jogador percebe na hora quando ele faz alguma coisa estranha.

Filtragem: o domínio diz o que é legal

Em cada tarefa composta, o HTN expõe apenas os métodos cujas pré-condições valem no estado atual. Tudo o que é semanticamente inválido sob as restrições escritas no domínio sai de cena antes de o aprendizado ser consultado.

Aprendizado: MORL condicionado a preferências escolhe entre os sobreviventes

Cada recompensa é um vetor com uma entrada por objetivo, então objetivos em conflito ficam separados e nunca colapsam num número só. Condicionar a política a um vetor de preferências dá um único agente que cobre o espaço de trade-offs: para toda preferência linear existe uma política ótima no conjunto de cobertura convexa.

Preferências: o que importa, agora

O vetor de pesos carrega o trade-off atual entre missão, segurança, recursos e tempo. Mudá-lo muda o método selecionado sem tocar no domínio HTN, então se adaptar a uma prioridade nova não exige reescrever nada.

Com dois objetivos, progresso e sobrevivência, e retornos estimados de [0,8; 0,2] para um método e [0,5; 0,5] para outro, os pesos [0,8; 0,2] escolhem o primeiro. Mudando para [0,2; 0,8], o agente escolhe o segundo. Os números são inventados para o exemplo.

Crédito onde a decisão foi tomada

Só o método selecionado é decomposto, e as tarefas primitivas seguem em execução convencional. O crédito vai para a decisão hierárquica que escolheu o método. Isso mantém o sinal de aprendizado legível e me deixa explicar por que o agente fez o que fez.

Como será avaliado

Comparar

  • HTN por primeiro aplicável
  • HTN com heurística fixa
  • RL escalar para valores tarefa–método
  • RL escalar contextual + máscara HTN
  • HTN + MORL condicionado a preferências

Estressar

  • Preferências trocadas em decisões marcadas
  • Vetores de preferência não vistos
  • Estados iniciais não vistos

Medir

  • Adaptação depois da troca
  • Generalização
  • Validade semântica
  • Latência de decisão

Materiais

O artigo do ERAMIA-RS está nos anais e o PDF está aqui. O pôster foi apresentado na ECOA 2026, em outubro. Os dois são uma primeira versão, com a formulação e o protocolo de avaliação. Os experimentos vêm agora, e o artigo completo com eles em 2027.

HTN Method Selection Guided by Multi-Objective Reinforcement Learning and Dynamic Preferences
Pôster apresentado na ECOA 2026, a IV Escola de Computação Avançada da UFRGS, em 21 e 22 de outubro: arquitetura, atribuição hierárquica de crédito e os experimentos propostos.
  • Pôster (PDF) ECOA 2026 · UFRGS · 1,1 MB
  • Artigo do ERAMIA-RS Nos anais de ERAMIA-RS 2026 PDF
  • Protótipo Protótipo em grid world com execução HTN, sensoriamento, navegação e replanejamento. Recompensas vetoriais, objetivos conflitantes e preferências dinâmicas são o próximo passo. O repositório é privado enquanto o trabalho está em andamento.