League of Legends: 28 Stunden, um einen Bug zu fixen – LoL blickt zurück

Riot Games, die Macher hinter LoL, blicken zwischen den Seasons auf eine der härteste Nachtschichten zurück.

Ein extremer Recall-Bug zwang Riot 2015 dazu, die Ranked-Spiele zu deaktivieren. Für die Fehlerlösung legte das LoL-Team Nachtschichten ein.

Das war heute vor 2 Jahren und beschäftigt die Community zum zweiten Jahres-Tag erneut. Wie war das damals, als wegen dieses krassen Bugs der Ranglisten-Modus deaktiviert wurde? Riot blickt in einer Rückschau auf diese aufreibenden 28 Stunden zurück.

Der Morgen des 15. Juli 2015: “Oh mein Gott, hast Du das Video auf Reddit gesehen?”

Am 15. Juli 2015 erreichte Reddit ein Video eines Nutzers, in dem auf einen gravierenden Bug hingewiesen wird. Drückte man Tasten in der “richtigen” Reihenfolge, konnte Riven sich sofort zur Basis teleportieren und übersprang die eigentliche Wartezeit (etwa 8 Sekunden) des Zaubers.

Wer das ausnutzte, konnte sich besonders schnell über die Karte bewegen und jedem ungewollten Kampf aus dem Weg gehen. Ein erheblicher und unfairer Vorteil gegenüber anderen Teilnehmern eine Matches.

Als das Riot-Team an diesem Tag mit der Arbeit begann, trudelten immer mehr Reports dieses Fehlers im LoL-Hauptquartier ein. Im Team sprach sich die Meldung dann auch schnell rum:

• Donna Mason, Release Manager “Wir hören in E-Mails, Pings und von Leuten aus dem Team ‘Oh mein Gott, hast du das Ding auf Reddit gesehen?'”
• Tim Isenman, Live Producer “Das erste, was wir sahen, war dieser Reddit-Post. Daraufhin fingen wir direkt an, der Sache auf den Grund zu gehen. Es gab außerdem ein paar Leute aus dem Champion-Team, die auch schon auf Fehlersuche waren.”

Im Video seht Ihr den Riven-Recall-Bug, der auf Reddit veröffentlicht wurde:

Wenn so ein Fehler in League of Legends auftaucht, ist es das große Ziel, diesen reproduzieren zu können. Wenn die Entwickler selbst wissen, wie man den Bug hervorruft, ist die Arbeit an einer Lösung deutlich einfacher. Man unterscheidet dann außerdem zwischen “Ist ein Bug im Spiel? Das ist nicht gut” und “Es ist ein Bug im Spiel, der einen unfairen Vorteil gibt. Das ist besonders schlecht!”. Anschließend wird ausprobiert, ob man diesen Bug selbst nutzen kann.

• Matthew Wittrock, Release QA “Ich hab also herumprobiert und endlich konnte ich den Bug verlässlich reproduzieren. ‘Das ist ja wirklich einfach – das ist gar nicht gut!'”

Weil sich das Video so schnell verbreitete und immer mehr Klicks generierte, entschied das Team den Champion Riven zu deaktivieren. Es bestand zu viel Gefahr für die Community, dass Spiele durch Nachahmer ruiniert würden. Riven wurde weltweit deaktiviert und das Team begann mit der Arbeit an einem Hotfix.

Nachmittag des 15. Juli 2015: Ernüchterung – Nicht nur Riven ist betroffen

Es ist inzwischen 14:50 Uhr und das Team hat Riven weltweit deaktiviert. Die Arbeit am Hotfix läuft bereits auf Hochtouren, als weitere Reports das Team erreichen. Offenbar ist mehr als nur ein Champion von diesem Fehler betroffen.

• Tim Isenman “Nachdem wir Riven deaktivierten, erhielten wir weitere Pings von Riot-Mitarbeitern, die auf neue Videos hinwiesen. Dort wurde klar, dass auch andere Champions in League of Legends von diesem Bug betroffen waren. Erst Yasuo, dann Graves und bald folgten viele weitere …”
• Mark Sassenrath “Immer mehr Leute schrieben uns, dass sie den Bug auch auf Shen und Champion X, Y und Z reproduzieren konnten. Die Liste wurde immer länger”
• Tim Isenman “Als wir dann herausfanden, dass der Bug auf etwa einem Viertel aller Champions von LoL anwendbar war, rutschte uns das Herz in die Hose“

Doch auch hier war das Ausmaß des Problems noch nicht ganz klar. Das Team sollte kurze Zeit später herausfinden, dass der Bug riesig war!

• Matthew Wittrock “Zu diesem Zeitpunkt haben wir das Problem noch unterschätzt. Wir gingen davon aus, dass es bestimmte Fähigkeiten waren, die diesen Fehler triggerten. Wir wussten nicht, dass es wirklich jeden Champion betrifft.
• Tim Isenmann “Und dann fanden wir heraus, dass jeder Champion der das Item Tiamat oder Hydra nutzt, den gleichen Effekt auslösen kann. Nun konnte jeder Champion den Bug ausnutzen.

Selbst ohne die genannten Gegenstände waren es 40 Champions, die diesen Fehler hervorrufen konnten. Als klar wurde, dass jeder Champion den Bug nutzen konnte und es dadurch nur Vorteile und keine Nachteile für die Spieler gibt, musste eine schnelle Lösung her.

“Wir können nicht alle Champions deaktivieren, was machen wir stattdessen?” Es wurde darüber nachgedacht, die Ranglisten-Spiele zu deaktivieren. Allerdings wussten die meisten Spieler zu diesem Zeitpunkt nur, dass Riven den Bug erzeugen kann. Dass das auch mit anderen Champions geht, war noch nicht bei vielen Spielern angekommen.

Die Entwickler entschieden sich dafür, Ranglisten-Spiele so lange aktiviert zu lassen, bis der Bug zu einem “echten Problem” wird. So lange wurde zunächst nur Riven deaktiviert.

Das Riot-Team entschied sich dafür, die Moderatoren von Reddit zu kontaktieren. Man wollte so wenig wie möglich Aufmerksamkeit zu diesem Thema, aber trotzdem neue Informationen zum Bug. Deshalb schlugen sie vor, neue Videos in den bereits bestehenden Thread zu importieren, um die Ergebnisse zu sammeln. Daraus entstand dann allerdings ein “Mega-Thread”, der alle Videos gut sichtbar auflistete und so für noch größere Aufmerksamkeit sorgte, als zunächst befürchtet war.

Nun war dem Riot-Team klar: Wir müssen Ranglisten-Spiele deaktivieren. Auf Reddit wurden alle Champions aufgelistet, mit denen man den Bug produzieren kann. Zusätzlich fand man dort auch eine Anleitung, wie man den Bug ausführt. Die Gefahr für Ranked-Games war also nun zu hoch und der Bug wurde zum erwähnten “echten Problem”.

Abend des 15. Juli 2015 – Der Lösungsplan wird umgesetzt

Riot setzt nun mehrere Teams ein, um an einer Lösung dieses heftigen Bugs zu arbeiten.

• Matthew Wittrock “Ich erinnere mich noch, dass wir uns mit verschiedenen Teams zusammensetzten. Dann hieß es ‘Das wissen wir’, ‘Was machen wir dagegen?’ und dann ‘Cool! Los, jeder beginnt mit seiner Arbeit!’ – Das war aufregend. Der Bug ist zwar wirklich schlimm, aber wir haben einen Plan und arbeiten nun schnell an einer Lösung.”

Riot musste den Mitarbeitern dann genau erklären, wie der Bug funktioniert, damit man zusammen in Custom-Spielen ausprobieren kann, ob der Fehler noch besteht.

Nach vier fehlerhaften Lösungsversuchen hatte das Team endlich eine Lösung, mit der alle zufrieden waren. Diese wurde dann zum Testen an die Qualitätssicherung geschickt. Dort wurde der Bug mit allen möglichen Champions und Item-Kombinationen ausprobiert.

Die Qualitätssicherung würde dafür ungefähr 12 Stunden Zeit brauchen. Es war mittlerweile zwischen 22:00 Uhr und 23:00 Uhr. Riot entschied, einige Mitarbeiter ins Bett zu schicken. Dem Team der Qualitätssicherung wurde gesagt, dass sie jeden wecken sollen, wenn der Hotfix nicht funktioniert und es weiterhin zum Bug kommt.

02:00 Uhr, 16. Juli 2015 – Erneute Ernüchterung – Es gibt wieder Probleme

Gegen 02:00 morgens am 16. Juli wurde dem Team mitgeteilt, dass der Hotfix nicht wie gewünscht funktioniert. Jeder wurde geweckt, das Engineer-Team, die Designer: alle mussten aufstehen.

• Mark Sassenrath “Du weißt, dass etwas falsch läuft, wenn um 02:00 Uhr morgens dein Handy klingelt. Entweder hast du etwas vergessen, oder du hast etwas verschlimmbessert.”

Zwei neue Hotfixes wurden in den nächsten zwei Stunden entwickelt. Gegen 04.00 Uhr morgens war die Stimmung dementsprechend angespannt. Doch nun musste erstmal wieder getestet werden.

Am Nachmittag des 16. Juli waren die Ranglisten-Spiele bereits für 19 Stunden deaktiviert. Man versprach den Spielern, sich in wenigen Stunden erneut zu melden und über den Status des Fehlers zu berichten. Das verschaffte dem Team mehr Zeit für die Arbeit an einer Lösung.

• Tim Isenman “Gegen 16:00 Uhr Nachmittags wurde uns mitgeteilt, dass der neuste Bug-Fix bereits bei 80%-90% der Champions positiv ausfiel. Das war eine gute Nachricht. Das konnten wir allerdings nur schwer unseren Spielern mitteilen, denn es bestand weiterhin die Chance, dass die Lösung nicht bei allen Champions funktioniert und das Team wieder von vorne anfangen muss.” Deshalb entschied man sich dafür, ruhig zu bleiben und nichts zu sagen.

17:00 Uhr am 16. Juli 2015 – Ranglisten inzwischen einen Tag “down”

Es sind nun etwa 24 Stunden vergangen, seit die Ranglisten-Spiele deaktiviert wurden. Der finale Bug-Fix ist mittlerweile bei allen Champions positiv verlaufen und die Teams von Riot beginnen, den Fix weltweit aufzuspielen und die Ranglisten-Spiele wieder zu aktivieren.

• Tim Isenman “Ich glaube, es war etwa 17:00 Uhr als uns gesagt wurde, dass der Fix 100% erfolgreich war. Eine Region nach der anderen bekam nun den Bug-Fix aufgespielt.
• Donna Mason “Weil wir so viele Spiele-Server haben, benötigte das Aufspielen des Bug-Fix viel Zeit. Aber wir beeilten uns”
• Tim Isenman “Zum Schluss brauchte unser Team in Vietnam sehr lange für eine Antwort. Alle von uns standen um den Monitor versammelt und warteten auf Rückmeldung aus Vietnam. Dann schreibt jemand von dort zurück “Ich hab das Problem noch” und wir sind fast wahnsinnig geworden.
• Matthew Wittrock “Das ist die größte Angst. Egal, wie viel wir getestet haben. Wir warten immer auf diesen einen Post der sagt “Hey, ich hab den Bug noch”.
• Tim Isenman “Wir sagten ihm ‘Starte das Spiel neu und teste es erneut’. Das tat er auch und wir warteten und warteten … . Endlich sagt er ‘Ich kann ihn nicht reproduzieren. Ich glaube, es ist gefixt!’. Zuvor waren wir wirklich in Panik, denn wenn es in der einen Region weiterhin den Bug gibt, gibt es ihn in allen Regionen.

20:00 Uhr am 16. Juli 2015 – Die Ranglisten-Server nehmen wieder Fahrt auf

Nach inzwischen 28 Stunden Offline-Zeit, werden die Ranglisten-Server wieder aktiviert. Der Bug wurde endlich behoben.

• Tim Isenman “Wir ließen die Server noch für fünf Minuten offline, um intern zu testen. Anschließend aktivierten wir die Ranked-Server und konnten den Spielern endlich mitteilen, dass alles wieder funktioniert. Der Dämon wurde besiegt!
• Matthew Wittrock “Jetzt war keine Zeit, um sich Sorgen zu machen. Sollte irgendwas nicht funktionieren, wird man es in den nächsten Stunden herausfinden. Man muss sich nun um andere Dinge kümmern und weitermachen.

Und so ging die Arbeit bei Riot-Games weiter und man kümmerte sich um die nächsten Baustellen. An diesem “Großen Recall-Bug von 2015” arbeiteten dutzende Mitarbeiter für viele Stunden, um die Ranglisten-Server schnell zu reaktivieren und Spieler wieder in Ranked-Games schicken zu können. Er gilt als einer der heftigsten Bugs in der Geschichte von League of Legends.

Dieser Spieler listet 180 Bugs bei Mordekaiser auf – Das ist sein Hobby