Ein Poker spielender Bot namens Pluribus hat fünf menschliche Gegner, alles professionelle Pokerspieler, in einer Texas-Hold’em-Variante besiegt.
Wie die Zeitschrift Nature berichtet, ist die No-Limit-Variante von Texas Hold’em am beliebtesten. Einen Sieg in einem Spiel mit sechs Spielern davonzutragen, sei allerdings ein bedeutender Scritt vorwärts, erklärte AI-Experte Julian Togelius von der New York University gegenüber Nature. Multiplayer-Spiele zu meistern sei komplexer, weil die Spieltheorie dort an ihre Grenzen stoße.
Zuvor hatte ein Bot namens Libratus, den dasselbe Team aus Noam Brown und Tuomas Sandholm (beide von der Carnegie-Mellon-Universität) entwickelt hatte, bereits in einer Zwei-Spieler-Variante gewonnen. Pluribus basiert auf Libratus, benötigte aber aufgrund von Optimierungen deutlich weniger Computing-Kapazitäten, nämlich nur zwei CPUs. Der vorwärtsgerichtete Such-Algorithmus durch die Entscheidungsbäume bis zum Ende des Spiels, den Libratus noch nutzte, funktionierte bei dem Multiplayer-Spiel allerdings nicht mehr.
Mit Reinforcement Learning
Stattdessen dachte Pluribus nur ein paar Züge voraus. Dazu zog der Bot eine Reinforcement-Learning-Methode heran, die auch die Go-spielende AI Alpha Zero verwendet hat. Er spielte und analysierte im Nachhinein, welche Spielzüge ihm am meisten Gewinn einbrachten. Darauf basierend legte er seine nächsten Züge fest.
Um eine grundsätzliche Poker-Strategie zu entwickeln, spielte Pluribus Billionen von Händen gegen sich selbst. Dabei lernte der Bot offenbar Züge, die menschliche Spieler meist nicht nutzen. Offen ist, welche Ziele die Forscher als nächstes ins Visier nehmen. Im Poker-Bereich sei für AI jedenfalls nichts mehr zu gewinnen, erklärte Noam Brown, einer der beiden Pluribus-Entwickler.
