Liebe Forge-Fans,
in letzter Zeit haben wir Kommentare zu A/B-Tests und deren Durchführung erhalten. Insbesondere Kommentare zu den A/B-Tests für Forge Plus und die Aktualisierung der täglichen Herausforderungen. Daher dachten wir, dass es für euch aufschlussreich wäre, mehr Informationen über unsere Herangehensweise an A/B-Tests zu erhalten und warum diese für die Entwicklung von Forge of Empires unerlässlich sind.
Beginnen wir mit einer Definition von A/B-Tests. Ein A/B-Test ist ein branchenüblicher Test, der häufig von Entwicklern verwendet wird, um die Reaktion der Spieler auf eine Funktion zu beobachten. Bei solchen Tests werden zwei oder mehr Gruppen nach dem Zufallsprinzip ausgewählt. Sie bestehen aus einer Testgruppe (Gruppe "A"), die Zugang zu einer Funktion erhält, und einer Kontrollgruppe (Gruppe "B"), die dies nicht tut. Durch diesen Vergleich können die Entwickler die Veränderung des Spielerverhaltens direkt beobachten und die Auswirkungen der getesteten Funktion bewerten. Wir tun dies sowohl durch quantitatives als auch durch qualitatives Feedback. Und wir müssen beides berücksichtigen, aber bitte bedenkt, dass das Feedback aus dem Forum nur ein Teil von vielen ist, aus denen wir Feedback erhalten.
Nehmen wir die jüngste Aktualisierung der täglichen Herausforderung als Beispiel. Mit beiden Gruppen im Hinterkopf können wir viele Aspekte vergleichen (u. a. die tägliche Teilnahme, die Verweildauer der Nutzer bei der Funktion, das Alter der Teilnehmer usw.). So können wir feststellen, ob diese Änderung für unsere Spieler als neues Angebot nützlich und attraktiv war. Wenn die Ergebnisse keinen positiven Trend zeigen, können wir tiefer gehen und prüfen, ob es ein Problem gab. Am Ende können wir eingreifen und die Funktion entweder anpassen oder ganz streichen.
Aus diesem Grund sind A/B-Tests für uns so wichtig. Sie ermöglichen uns den Zugriff auf aussagekräftigere Daten, die auf einer Live-Testumgebung basieren. Mit diesen Daten können wir unsere Funktionen verfeinern und potenzielle Probleme erkennen.
Außerdem können wir durch die Freigabe einer neuen Funktion für eine kleinere Gruppe von Nutzern das Feedback effektiver überwachen und mögliche Frustrationsausbrüche vermeiden, die auftreten könnten, wenn wir Funktionen sofort für die gesamte Spielpopulation freigeben würden.
Forge of Empires ist natürlich ein großes Spiel. Es wird von Hunderttausenden von Spielern auf vielen Welten unterstützt. Das bedeutet aber auch, dass viel schief gehen kann. A/B-Tests sind ein absolutes Muss, wenn man das potenzielle Risiko einer neuen Funktion für ein so großes Publikum mindern will. Die Folgen der Veröffentlichung eines ungetesteten Features können zu negativen Interaktionen mit dem Spiel führen - sowohl für uns als auch für euch.
Es ist auch wichtig zu betonen, dass A/B-Tests nicht selektiv sind. Kein Spieler wird in irgendeiner Form einen langfristigen Vorteil erhalten oder für die Testgruppe vorausgewählt werden. Ihr werdet bemerkt haben, dass es einige Features gibt, die wir nicht A/B-testen können, weil die Vorteile zu groß wären, um fair zu sein, und wir wollen Fairness im Spiel wahren. Die Auswahl für die Tests ist rein zufällig, und das ist nicht nur aus Gründen der Fairness so, sondern auch, weil ein Zufallselement für die Qualität der Testergebnisse wichtig ist.
Wir hoffen, damit zu verdeutlichen, warum die A/B-Tests ein wichtiger Bestandteil unserer Entwicklungsstrategie sind und auch in Zukunft ein fester Bestandteil der Updates sein werden.
Mit freundlichen Grüßen,
euer Forge of Empires-Team