Claude, 25. Januar 2019, 13:31 Uhr
Warning: Use of undefined constant ri_rand_compare - assumed 'ri_rand_compare' (this will throw an Error in a future version of PHP) in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/random-image-widget/random_image.php on line 129 Warning: Use of undefined constant ri_rand_compare - assumed 'ri_rand_compare' (this will throw an Error in a future version of PHP) in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/random-image-widget/random_image.php on line 130 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 1384 Warning: preg_match_all(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 700 Warning: Invalid argument supplied for foreach() in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 707 Warning: preg_match_all(): Compilation failed: invalid range in character class at offset 4 in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 700 Warning: Invalid argument supplied for foreach() in /home/httpd/vhosts/scratchbook.ch/httpdocs/wp-content/plugins/lightbox-plus/classes/shd.class.php on line 707
Das Spiel StarCraft ermöglicht es den Spielern, eine von drei außerirdischen Rassen auszuwählen: Terraner, Zerg oder Protoss. Wir haben uns für AlphaStar entschieden, um uns auf ein einzelnes Rennen zu spezialisieren -- Protoss -- um die Trainingszeit und -varianz bei der Berichterstattung über die Ergebnisse unserer internen Liga zu reduzieren. Beachten Sie, dass die gleiche Trainingspipeline auf jedes Rennen angewendet werden kann. Unsere Agenten wurden geschult, StarCraft II (v4.6.2) in Protoss v Protoss Spielen auf der CatalystLE Ladder Map zu spielen. Um die Leistung von AlphaStar zu bewerten, haben wir zunächst unsere Agenten gegen TLO getestet: einen erstklassigen professionellen Zerg-Spieler und einen GrandMaster-Protoss-Spieler. AlphaStar gewann das Spiel mit 5-0, wobei eine Vielzahl von Einheiten und Bauaufträgen zum Einsatz kamen. „Ich war überrascht, wie stark der Agent war“, sagte er. „AlphaStar nimmt bekannte Strategien und stellt sie auf den Kopf. Der Agent demonstrierte Strategien, an die ich noch nie gedacht hatte, was bedeutet, dass es immer noch neue Spielweisen geben kann, die wir noch nicht vollständig erforscht haben.“
Obwohl StarCraft nur ein Spiel ist, wenn auch ein komplexes, glauben wir, dass die Techniken hinter AlphaStar bei der Lösung anderer Probleme nützlich sein könnten. So ist beispielsweise die neuronale Netzwerkarchitektur in der Lage, sehr lange Sequenzen von wahrscheinlichen Aktionen -- mit Spielen, die oft bis zu einer Stunde dauern und Zehntausende von Zügen haben -- auf der Grundlage unvollkommener Informationen zu modellieren. Jeder Frame von StarCraft wird als ein Schritt der Eingabe verwendet, wobei das neuronale Netzwerk die erwartete Abfolge von Aktionen für den Rest des Spiels nach jedem Frame vorhersagt. Das grundlegende Problem, komplexe Vorhersagen über sehr lange Datensequenzen zu treffen, tritt bei vielen Herausforderungen der realen Welt auf, wie z.B. Wettervorhersagen, Klimamodellierung, Sprachverständnis und mehr. Wir sind sehr erfreut über das Potenzial, in diesen Bereichen durch die Erkenntnisse und Entwicklungen aus dem AlphaStar-Projekt signifikante Fortschritte zu erzielen.
Wir sind auch der Meinung, dass einige unserer Trainingsmethoden sich als nützlich für das Studium einer sicheren und robusten KI erweisen können. Eine der großen Herausforderungen in der KI ist die Anzahl der Möglichkeiten, wie Systeme schief gehen können, und StarCraft-Profis haben es bisher leicht gefunden, KI-Systeme zu schlagen, indem sie erfinderische Wege gefunden haben, diese Fehler zu provozieren. Der innovative ligabasierte Trainingsprozess von AlphaStar findet die Ansätze, die am zuverlässigsten sind und am wenigsten schief gehen. Wir sind begeistert von dem Potenzial für einen solchen Ansatz, der dazu beiträgt, die Sicherheit und Robustheit von KI-Systemen im Allgemeinen zu verbessern, insbesondere in sicherheitskritischen Bereichen wie Energie, wo es unerlässlich ist, komplexe Kantenfälle anzugehen.
Das Erreichen der höchsten Spielstufen von StarCraft stellt einen großen Durchbruch in einem der komplexesten Videospiele dar, die je entwickelt wurden. Wir glauben, dass diese Fortschritte, zusammen mit anderen jüngsten Fortschritten in Projekten wie AlphaZero und AlphaFold, einen Schritt nach vorne in unserer Mission darstellen, intelligente Systeme zu schaffen, die uns eines Tages helfen werden, neue Lösungen für einige der wichtigsten und grundlegendsten wissenschaftlichen Probleme der Welt zu entwickeln.
(Quelle: AlphaStar: Mastering the Real-Time Strategy Game StarCraft II)
Eine Visualisierung des AlphaStar-Agenten im zweiten Spiel des Spiels gegen MaNa. Dies zeigt das Spiel aus der Sicht des Agenten: die rohe Beobachtungseingabe in das neuronale Netzwerk, die internen Aktivierungen des neuronalen Netzwerks, einige der berücksichtigten Aktionen, die der Agent ausführen kann, wie z.B. wo er klicken und was er bauen soll, und das vorhergesagte Ergebnis. Es wird auch die Ansicht der MaNa zum Spiel angezeigt, die dem Agenten jedoch nicht zugänglich ist.
Die AlphaStar-Liga. Die Agenten werden zunächst aus menschlichen Spielen trainiert und dann gegen andere Wettbewerber in der Liga. Bei jeder Iteration werden neue Wettbewerber verzweigt, ursprüngliche Wettbewerber eingefroren, und die Matchmaking-Wahrscheinlichkeiten und Hyperparameter, die das Lernziel für jeden Agenten bestimmen, können angepasst werden, was die Schwierigkeit erhöht und die Vielfalt bewahrt. Die Parameter des Agenten werden aktualisiert, indem die Verstärkung aus den Spielergebnissen gegen die Konkurrenz lernt. Der endgültige Agent wird (ohne Ersatz) aus der Nash-Verteilung der Liga entnommen.
Schätzung der Match Making Bewertung (MMR) -- ein ungefähres Maß für die Fähigkeiten eines Spielers -- für Teilnehmer in der AlphaStar-Liga, während des gesamten Trainings, im Vergleich zu den Online-Ligen von Blizzard.
Im Laufe des Trainings änderte die AlphaStar-Gründerliga die Mischung der Einheiten, die sie baut.
Die Abbildung zeigt, wie ein Agent (schwarzer Punkt), der letztendlich für das Spiel gegen die MaNa ausgewählt wurde, im Laufe des Trainings seine Strategie und seine Konkurrenten (farbige Punkte) weiterentwickelt hat. Jeder Punkt repräsentiert einen Wettbewerber in der AlphaStar-Liga. Die Position des Punktes stellt seine Strategie (Inset) dar, und die Größe des Punktes gibt an, wie häufig er während des Trainings als Gegner für den MaNa-Agenten ausgewählt wird.
Die Nash-Verteilung im Vergleich zu Wettbewerbern, während die AlphaStar-Liga voranschritt und neue Wettbewerber geschaffen wurden. Der Nash-Vertrieb, der die am wenigsten ausnutzbare Gruppe komplementärer Wettbewerber ist, gewichtet die neuesten Wettbewerber am stärksten und zeigt kontinuierliche Fortschritte gegenüber allen bisherigen Wettbewerbern.
Performance von AlphaStar unter Verwendung der Rohschnittstelle und der Kameraschnittstelle, die zeigt, wie der neu ausgebildete Kamera-Agent schnell aufholt und die Performance des Agenten unter Verwendung der Rohschnittstelle nahezu erreicht.
(Quelle: AlphaStar: Mastering the Real-Time Strategy Game StarCraft II)
