Amazon vo svojom odbornom príspevku opisuje spôsob, ako vo veľkom rozsahu hodnotiť kvalitu A+ Content na produktových stránkach. A+ Content je multimediálny prvok, prostredníctvom ktorého značky kombinujú obrazové materiály s textom, aby zákazníkom priblížili hodnotu produktu a značky. Podľa zdroja dosahujú predajní partneri s kvalitným A+ Content o 8 až 20 percent vyšší predaj než partneri, ktorí ho nepoužívajú.

Celá stránka ako jeden vizuálny celok

Systém neposudzuje jednotlivé obrázky alebo textové bloky izolovane. Najprv vykreslí celú produktovú stránku do jedinej snímky. Vizuálno-jazykový model potom hodnotí spoločné pôsobenie obrázkov, textu a rozloženia tak, ako ich vidí zákazník. Tento prístup zachováva kontext stránky: dôležitá nie je iba kvalita jednotlivého prvku, ale aj jeho vzťah k ostatnému obsahu.

Model používa pevnú rubriku so štyrmi rozmermi: vizuálne rozprávanie príbehu, prezentácia vlastností, rozloženie A+ Content a optimalizácia konverzie. Pre každý rozmer vracia skóre od 0 do 10, hodnotu istoty a slovné odôvodnenie. Model aj rubrika zostávajú pevné a ich štruktúrované výstupy sa používajú ako vstupné príznaky pre klasifikátor CatBoost.

OCR dopĺňa pohľad na čitateľnosť

Samostatný OCR model prevádzkovaný cez SageMaker AI Inference získava textové bloky a ich pozície. Z nich vypočítava štyri signály: hustotu textu, hustotu znakov, rozostupy a celkovú čitateľnosť. Štyri hodnotenia vizuálno-jazykového modelu a štyri OCR signály spolu vytvárajú osem príznakov, ktoré vstupujú do CatBoostu.

Tréningové označenia vznikli z nezávislých hodnotení jedného odborníka na marketing v elektronickom obchode a štyroch profesionálnych anotátorov. Hodnotili 5 478 produktových stránok v desiatich kategóriách a výslednú konsenzuálnu triedu určila väčšina hlasov. Podiel stránok označených ako kvalitné bol 49,6 percenta. Cohenova kappa jednotlivých anotátorov voči konsenzu dosiahla 0,845 až 0,915.

Výsledky porovnania

Na rovnakom 20-percentnom holdout súbore dosiahlo jednoduché priemerovanie skóre presnosť 0,80 a F1 0,84. CatBoost iba s príznakmi vizuálno-jazykového modelu dosiahol presnosť 0,89 a F1 0,90, zatiaľ čo verzia založená iba na OCR dosiahla 0,82 a 0,83. Spojený model OCR–VLM–CatBoost dosiahol najvyššie hodnoty: presnosť 0,94 a F1 0,95.

Analýza SHAP ukázala, ktoré príznaky mali na holdout súbore najvyššie priemerné absolútne hodnoty. Hustota znakov z OCR dosiahla 1,1, celková čitateľnosť z OCR 1,0 a vizuálne rozprávanie 1,0. Nasledovalo rozloženie A+ Content s hodnotou 0,8, prezentácia vlastností s 0,6 a optimalizácia konverzie s 0,4. Ide o vysvetlenie správania modelu na danom súbore, nie iba o samostatný zoznam dizajnových pravidiel.

Od klasifikácie ku konkrétnej úprave

Ak systém označí stránku za nekvalitnú, zoradí všetkých osem príznakov podľa hodnôt SHAP. Najnegatívnejšie príznaky spolu s kategóriou produktu, osvedčenými postupmi elektronického obchodu a slovnými odôvodneniami modelu odošle jazykovému modelu. Ten vytvorí prioritizované a konkrétne kroky, takže výsledkom nie je iba verdikt, ale aj vysvetlenie, na čo sa pri revízii sústrediť.

Po úpravách obsahu podľa týchto odporúčaní sa priemerné skóre kvality zvýšilo o 1,4 bodu na desaťbodovej stupnici v štatisticky významnej vzorke. Opísaná implementácia mapuje vykresľovanie, VLM hodnotenie, OCR, agregáciu príznakov, tréning CatBoostu, vysvetľovanie SHAP aj produkčný monitoring na spravované možnosti SageMaker AI. Monitoring sleduje kvalitu dát, kvalitu modelu a posun atribúcií príznakov; pri prekročení prahov posunu SageMaker Pipelines automatizuje opätovné trénovanie. Keďže aktualizácia nemení pevný VLM ani rubriku a upravuje iba klasifikátor, podľa zdroja vyžaduje krátku úlohu bežiacu iba na CPU.