Amazon opisuje metodę oceny jakości A+ Content na dużą skalę na stronach szczegółów produktów. A+ Content jest multimedialnym elementem, w którym marki wykorzystują materiały wizualne do przedstawiania wartości produktu i marki. Według źródła partnerzy handlowi stosujący wysokiej jakości A+ Content zwiększają sprzedaż o 8–20 procent w porównaniu z partnerami, którzy go nie używają.

Ocena strony w postaci widocznej dla klienta

System nie analizuje wyłącznie odseparowanych obrazów i bloków tekstu. Najpierw renderuje całą stronę szczegółów produktu jako jeden obraz. Model wizyjno-językowy ocenia następnie połączone obrazy, tekst i układ tak, jak widzi je klient. Przedmiotem oceny jest zatem skomponowana strona, a zależności między jej elementami pozostają częścią kontekstu.

Model korzysta ze stałej rubryki obejmującej cztery wymiary: opowiadanie wizualne, prezentację cech, układ A+ Content oraz optymalizację konwersji. Dla każdego wymiaru zwraca ocenę od 0 do 10, wartość pewności i uzasadnienie w języku naturalnym. Model wizyjno-językowy i treść rubryki pozostają niezmienne, a ich ustrukturyzowane wyniki stają się cechami klasyfikatora CatBoost przewidującego eksperckie etykiety jakości.

Sygnały czytelności z OCR

Oddzielny model OCR, obsługiwany przez SageMaker AI Inference, wyodrębnia bloki tekstu oraz ich położenie. Oblicza gęstość tekstu, gęstość znaków, odstępy i ogólną czytelność. Te cztery sygnały są łączone z czterema ocenami modelu wizyjno-językowego, tworząc ośmiocechowe wejście dla CatBoost.

Etykiety treningowe powstały na podstawie niezależnych ocen jednego eksperta do spraw marketingu e-commerce i czterech zawodowych anotatorów. Ocenili oni 5478 stron szczegółów produktów należących do dziesięciu kategorii. Etykiety konsensusu ustalono większością głosów, a 49,6 procent stron otrzymało oznaczenie wysokiej jakości. Współczynnik kappa Cohena każdego anotatora względem etykiety konsensusu mieścił się w przedziale od 0,845 do 0,915.

Wyniki na wspólnym zbiorze testowym

Wszystkie warianty porównano na tym samym 20-procentowym zbiorze holdout. Wartość bazowa oparta na średniej ocen osiągnęła dokładność 0,80 i F1 równy 0,84. CatBoost wykorzystujący wyłącznie cechy modelu wizyjno-językowego uzyskał dokładność 0,89 i F1 równy 0,90. Wariant wyłącznie z OCR osiągnął odpowiednio 0,82 i 0,83. Połączony model OCR–VLM–CatBoost uzyskał najlepszy podany wynik: dokładność 0,94 i F1 równy 0,95.

Analiza SHAP wskazała także cechy o najwyższych średnich wartościach bezwzględnych na zbiorze holdout. Gęstość znaków z OCR osiągnęła 1,1, a ogólna czytelność OCR i opowiadanie wizualne po 1,0. Dalej znalazły się układ A+ Content z wartością 0,8, prezentacja cech z 0,6 oraz optymalizacja konwersji z 0,4. Wartości te opisują wkład cech w decyzje klasyfikatora na ocenianym zbiorze.

Od niskiej oceny do konkretnych działań

Gdy strona zostaje sklasyfikowana jako niskiej jakości, system porządkuje wszystkie osiem cech według wartości SHAP. Najbardziej negatywne cechy, kategoria produktu, dobre praktyki e-commerce oraz uzasadnienia modelu wizyjno-językowego trafiają do modelu językowego. Na tej podstawie powstają uporządkowane według priorytetów, konkretne działania. Rezultatem jest więc nie tylko etykieta jakości, ale również wskazanie, na których słabościach należy skupić się najpierw.

Po zmodyfikowaniu treści zgodnie z tymi zaleceniami średnia ocena jakości po rewizji wzrosła o 1,4 punktu w dziesięciopunktowej skali w statystycznie istotnej próbie. Podany rezultat dotyczy zmiany oceny jakości po zastosowaniu procesu zaleceń i wprowadzeniu poprawek przez partnerów handlowych.

Monitorowanie i ponowne trenowanie

Opisana implementacja SageMaker AI przypisuje renderowanie treści, ocenianie VLM, ekstrakcję OCR, agregację cech, trening CatBoost, wyjaśnienia SHAP i monitoring produkcyjny do zarządzanych możliwości. Monitoring obejmuje jakość danych, jakość modelu i dryf atrybucji cech. SageMaker Pipelines automatyzuje ponowne trenowanie, gdy zostaną przekroczone progi dryfu.

Ponieważ model wizyjno-językowy i rubryka pozostają stałe, aktualizacja wymaga ponownego wytrenowania jedynie klasyfikatora. Źródło określa to jako krótkie zadanie wykonywane wyłącznie na CPU. Pozwala to zachować te same wymiary ustrukturyzowanej oceny, a jednocześnie aktualizować predyktor etykiet eksperckich.