B\" uchi Objectives in Countable MDPs
S Kiefer, R Mayr, M Shirmohammadi… - arXiv preprint arXiv …, 2019 - arxiv.org
We study countably infinite Markov decision processes with B\" uchi objectives, which ask to
visit a given subset of states infinitely often. A question left open by TP Hill in 1979 is
whether there always exist $\varepsilon $-optimal Markov strategies, ie, strategies that base
decisions only on the current state and the number of steps taken so far. We provide a
negative answer to this question by constructing a non-trivial counterexample. On the other
hand, we show that Markov strategies with only 1 bit of extra memory are sufficient.
visit a given subset of states infinitely often. A question left open by TP Hill in 1979 is
whether there always exist $\varepsilon $-optimal Markov strategies, ie, strategies that base
decisions only on the current state and the number of steps taken so far. We provide a
negative answer to this question by constructing a non-trivial counterexample. On the other
hand, we show that Markov strategies with only 1 bit of extra memory are sufficient.
[引用][C] Büchi Objectives in Countable MDPs
M Shirmohammadi, S Kiefer, R Mayr… - … Colloquium on Automata …, 2019 - hal.science
Büchi Objectives in Countable MDPs - Archive ouverte HAL Accéder directement au contenu
Documentation FR Français (FR) Anglais (EN) Se connecter HAL science ouverte Recherche
Loading... Recherche avancée Information de documents Titres Titres Sous-titre Titre de
l'ouvrage Titre du volume (Série) Champ de recherche par défaut (multicritères) + texte
intégral des PDF Résumé Texte intégral indexé des documents PDF Mots-clés Type de
document Sous-type de document Tous les identifiants du document Identifiant HAL du dépôt …
Documentation FR Français (FR) Anglais (EN) Se connecter HAL science ouverte Recherche
Loading... Recherche avancée Information de documents Titres Titres Sous-titre Titre de
l'ouvrage Titre du volume (Série) Champ de recherche par défaut (multicritères) + texte
intégral des PDF Résumé Texte intégral indexé des documents PDF Mots-clés Type de
document Sous-type de document Tous les identifiants du document Identifiant HAL du dépôt …