QA Studio ist eine mit Amazon Nova Act entwickelte Referenzlösung. Teil 1 führte die Definition von Tests in natürlicher Sprache und eine KI-gestützte visuelle Navigation ein. Teil 2 ergänzte Testsuiten sowie eine Kommandozeilenschnittstelle für gebündelte Regressionstests in CI/CD-Pipelines. Teil 3 behandelt nun den organisatorischen und betrieblichen Rahmen: Tests werden Anwendungen zugeordnet, Ausführungsergebnisse in Zustandsinformationen überführt und Zugriffe nach Teams und Rollen gesteuert.

Anwendungen bilden die Grenze des getesteten Systems

Eine Anwendung repräsentiert in QA Studio ein zu testendes System. Gleichzeitig dient sie als Container und Eigentumsgrenze für die zugehörigen Anwendungsfälle und Testsuiten. Damit erhalten zusammengehörige Tests einen gemeinsamen Kontext, während Eigentum, Berichte und Zugriffsregeln an ein klar bestimmtes Objekt gebunden sind.

Zum Erstellen einer Anwendung sind ein Name und eine Basis-URL erforderlich. Optional kann eine Gruppe von Umgebungen hinzugefügt werden, beispielsweise Entwicklung, Staging und Produktion. Ausführungen können dadurch derselben Anwendung zugeordnet und dennoch nach ihrer jeweiligen Umgebung unterschieden werden.

Ausführungsergebnisse ergeben eine Zustandsansicht

QA Studio erfasst jedes Ausführungsergebnis als benutzerdefinierte Amazon-CloudWatch-Metrik. Die Metriken werden nach Anwendung und Umgebung dimensioniert. Aus diesen Daten erstellt die Lösung eine Zustandsansicht für die Anwendung. Ein einzelner Testlauf bleibt somit nicht nur ein isoliertes Ergebnis, sondern trägt zu einem nach System und Umgebung gegliederten Gesamtbild bei.

Die Anwendungsseite zeigt die Erfolgsquote für das ausgewählte Zeitfenster, die Gesamtzahl der Ausführungen und die aktuelle Anzahl der Fehler. Hinzu kommt ein Zustandswert von 0 bis 100. Dieser wird aus der Erfolgsquote berechnet und um einen Abzug für instabile Tests ergänzt. Die Zusammenfassung berücksichtigt daher sowohl den allgemeinen Erfolg als auch wechselnde Testergebnisse.

Die Registerkarte für Metriken bietet zwei Zeiträume. Die Sieben-Tage-Ansicht arbeitet mit stündlicher Granularität, die 30-Tage-Ansicht mit täglicher Granularität. Diagramme stellen Ausführungen, Erfolge, Fehler und die durchschnittliche Dauer dar. Mit dem Umgebungsfilter lassen sich diese Werte innerhalb des ausgewählten Anwendungskontexts betrachten.

Instabile Tests und jüngste Fehler untersuchen

Eine eigene Ansicht für instabile Tests ordnet Anwendungsfälle nach ihren Wechseln zwischen Erfolg und Fehlschlag während der vergangenen sieben Tage. Dadurch werden Tests sichtbar, deren Resultate sich verändern. Die Ansicht der jüngsten Fehler enthält Einträge mit Verweisen auf Amazon-Nova-Act-Trajektorienprotokolle und Sitzungsaufzeichnungen. Die aggregierte Übersicht ist damit mit Unterlagen zu einer konkreten fehlgeschlagenen Ausführung verbunden.

Teams bestimmen Eigentum und Sichtbarkeit

QA Studio organisiert den Zugriff über Teams. Jede Anwendung gehört genau einem Team, dessen Mitglieder entsprechend ihren Rollen damit arbeiten können. Andere Benutzer sehen die Anwendung nicht, sofern kein Zugriff mit ihnen geteilt wurde. Das Eigentum legt somit die standardmäßige Sichtbarkeitsgrenze und den Ausgangspunkt für die Verwaltung fest.

Die Lösung definiert fünf kumulative Rollen. Ein Admin besitzt studioweiten Zugriff. Ein Team Lead verwaltet Teammitglieder und erstellt Anwendungen für das Team. Ein Editor erstellt und bearbeitet Anwendungsfälle sowie Testsuiten. Ein Executor darf sie ausführen, jedoch nicht verändern. Ein Viewer verfügt über reinen Lesezugriff. Da die Rollen kumulativ sind, schließt jede höhere Rolle den Umfang der darunterliegenden Rollen ein.

Das Eigentümerteam kann eine Anwendung mit einem anderen Team auf drei Stufen teilen: Anzeigen, Ausführen oder Vollzugriff. Die wirksame Berechtigung entspricht der niedrigeren Stufe aus der eigenen Rolle des Empfängers und der beim Teilen gewährten Zugriffsebene. Eine Freigabe erweitert die Fähigkeiten also nicht über die persönliche Rolle hinaus; zugleich kann eine hohe Rolle die vom Eigentümer gesetzte Freigabegrenze nicht überschreiten.

Das Modell verbindet damit zwei getrennte Grenzen. Die Freigabe bestimmt, welchen Zugriff das Eigentümerteam grundsätzlich anbietet. Die Rolle bestimmt, welche Handlungen der jeweilige Empfänger ausführen darf. Die Regel der niedrigeren Stufe erhält beide Einschränkungen.

Technische Durchsetzung und Datengrenzen

Die Implementierung ordnet jedes Team Amazon-Cognito-Gruppen für dessen Rollen zu. Amazon DynamoDB speichert Teams, Mitgliedschaften, Anwendungseigentum und Freigaben. AWS Lambda und Amazon API Gateway erzwingen den Rollenumfang sowie Prüfungen des Zugriffs auf einzelne Ressourcen. Das in der Oberfläche sichtbare Modell ist daher mit Kontrollen für Rolle und angeforderte Ressource verbunden.

Anwendungen, Metriken und die teamgestützte Zugriffssteuerung sind Bestandteil der QA-Studio-Referenzlösung. Die Bereitstellung erfolgt mit AWS CDK im AWS-Konto des Benutzers. Testdaten, Ergebnisse und Metriken verbleiben innerhalb der Grenzen dieses Kontos und damit im betrieblichen Rahmen der dort bereitgestellten Lösung.

Teil 3 erweitert QA Studio somit über das Definieren und gebündelte Ausführen von Tests hinaus. Anwendungen schaffen die organisatorische Eigentumsgrenze, CloudWatch-Metriken bilden Ausführungen als Trends und Zustandswerte ab, und Teams, Rollen sowie Freigaben steuern Sichtbarkeit und zulässige Aktionen. Diese Funktionen ergänzen die in den ersten beiden Teilen eingeführten Tests in natürlicher Sprache, die visuelle Navigation, Testsuiten und die CI/CD-orientierte Kommandozeile.