QA Studio je referenčné riešenie vytvorené s Amazon Nova Act. Jeho prvá časť predstavila definovanie testov v prirodzenom jazyku a vizuálnu navigáciu podporovanú umelou inteligenciou. Druhá časť doplnila testovacie sady a rozhranie príkazového riadka, pomocou ktorého možno dávkové regresné testovanie zaradiť do procesov CI/CD. Tretia časť sa sústreďuje na organizovanie rastúceho počtu testov, sledovanie výsledkov a riadenie toho, kto môže s jednotlivými zdrojmi pracovať.

Aplikácia ako hranica testovaného systému

Aplikácia v QA Studio predstavuje testovaný systém. Zároveň je kontajnerom a hranicou vlastníctva pre prípady použitia a testovacie sady, ktoré k tomuto systému patria. Takéto usporiadanie spája testy s konkrétnym cieľom a vytvára jedno miesto, z ktorého možno sledovať ich stav aj prístupové pravidlá.

Pri vytvorení aplikácie sa zadáva názov a základná URL adresa. Voliteľne možno pridať množinu prostredí, napríklad vývojové, stagingové a produkčné. Rovnakú aplikáciu je preto možné sledovať podľa prostredia bez toho, aby sa jej prípady použitia a testovacie sady museli organizačne oddeliť.

Od jednotlivých výsledkov k pohľadu na zdravie

QA Studio zaznamenáva výsledok každého vykonania ako vlastnú metriku Amazon CloudWatch. Metriky sú rozlíšené podľa aplikácie a prostredia a riešenie z nich zostavuje pohľad na zdravie aplikácie. Výsledky tak nie sú iba samostatnými záznamami behov, ale vstupujú do súhrnu viazaného na konkrétny testovaný systém.

Stránka aplikácie zobrazuje mieru úspešnosti za zvolené časové obdobie, celkový počet vykonaní a aktuálny počet zlyhaní. Dopĺňa ich skóre zdravia v rozsahu od 0 do 100. Skóre vychádza z miery úspešnosti a zahŕňa penalizáciu za nestabilné testy, takže súhrn zohľadňuje nielen počet úspešných behov, ale aj kolísanie výsledkov.

Karta metrík ponúka dva časové pohľady. Sedemdňový pohľad používa hodinovú granularitu, zatiaľ čo tridsaťdňový pohľad používa dennú granularitu. Grafy zobrazujú počet vykonaní, úspechy, zlyhania a priemerné trvanie. Filter prostredia umožňuje tieto údaje posudzovať v rámci vybranej časti aplikácie.

Nestabilita a nedávne zlyhania

Samostatný pohľad na nestabilné testy zoraďuje prípady použitia podľa prechodov medzi úspechom a zlyhaním počas predchádzajúcich siedmich dní. Tým upriamuje pozornosť na testy, ktorých výsledok sa mení. Pohľad na nedávne zlyhania zase obsahuje odkazy na záznamy trajektórií Amazon Nova Act a záznamy relácií. Súhrnný signál možno teda prepojiť s materiálmi konkrétneho neúspešného vykonania.

Prístup postavený na tímoch

Organizačným základom prístupu sú tímy. Každá aplikácia patrí presne jednému tímu a členovia tohto tímu s ňou pracujú podľa svojich rolí. Ostatní používatelia aplikáciu nevidia, pokiaľ im vlastník prístup nezdieľa. Vlastníctvo aplikácie, viditeľnosť a povolené činnosti sú tak súčasťou jedného modelu.

QA Studio definuje päť kumulatívnych rolí. Admin má prístup v rámci celého štúdia. Team Lead spravuje členov tímu a vytvára tímové aplikácie. Editor vytvára a upravuje prípady použitia a testovacie sady. Executor ich môže spúšťať, ale nemôže ich meniť. Viewer má prístup iba na čítanie. Kumulatívny charakter znamená, že vyššie roly zahŕňajú rozsah nižších rolí.

Vlastnícky tím môže aplikáciu sprístupniť inému tímu na troch úrovniach: zobrazenie, vykonávanie alebo plný prístup. Výsledné oprávnenie je nižšia z dvoch úrovní – vlastná rola príjemcu a prístup udelený pri zdieľaní. Samotné široké zdieľanie preto neprekročí hranice roly konkrétneho používateľa a vysoká rola zase nerozšíri úroveň, ktorú vlastník aplikácie poskytol.

Presadzovanie oprávnení a hranice údajov

Implementácia mapuje každý tím na skupiny Amazon Cognito zodpovedajúce jeho rolám. Amazon DynamoDB uchováva tímy, členstvá, vlastníctvo aplikácií a udelené zdieľania. AWS Lambda a Amazon API Gateway presadzujú rozsah rolí aj kontroly prístupu ku konkrétnym zdrojom. Model zobrazený používateľovi je teda prepojený s kontrolami na aplikačnej a zdrojovej úrovni.

Aplikácie, metriky a tímové riadenie prístupu sú súčasťou referenčného riešenia QA Studio. Riešenie sa nasadzuje pomocou AWS CDK do účtu AWS používateľa. Testovacie údaje, výsledky a metriky zostávajú v hraniciach tohto účtu, čo určuje aj prevádzkový rámec celej implementácie.

Tretia časť tak rozširuje QA Studio od tvorby a dávkového spúšťania testov k ich organizačnému a prevádzkovému kontextu. Aplikácia zoskupuje testy a prostredia, metriky opisujú vykonávania a ich stabilitu a tímový model určuje viditeľnosť aj povolené zásahy. Všetky tri oblasti sú súčasťou jedného referenčného riešenia pre testovanie s Amazon Nova Act.