A policy iteration algorithm for nonzero-sum stochastic impulse games

Abstract

This work presents a novel policy iteration algorithm to tackle nonzero-sum stochastic impulse games arising naturally in many applications. Despite the obvious impact of solving such problems, there are no suitable numerical methods available, to the best of our knowledge. Our method relies on the recently introduced characterisation of the value functions and Nash equilibrium via a system of quasi-variational inequalities. While our algorithm is heuristic and we do not provide a convergence analysis, numerical tests show that it performs convincingly in a wide range of situations, including the only analytically solvable example available in the literature at the time of writing.Ce travail présente un nouvel algorithme d’itération sur les politiques pour approximer numériquement les fonctions valeurs d’un problème de jeux impulsionnels stochastiques á somme non nulle. Ces problèmes apparaissent naturellement de nombreuses situations économiques de concurrence entre acteurs. A notre connaissance, malgré l’intérêt pratique de solutions numériques á de tels problèmes, il n’existe pas d’algorithmes appropriés. Notre méthode repose sur la caractérisation récemment introduite des fonctions valeur et de l’équilibre de Nash par un système d’inégalités quasivariationnelles. Bien que l’on ne fournisse pas d’analyse de convergence, des tests numériques effectués dans un large éventail de situations illustrent l’effcacité de notre algorithme. Enfin, nous montrons qu’il converge á la solution dans le seul cas connu de solution analytique.