Amazon Bedrock podporuje pre model Kimi K3 inferenciu priamo v Indii popri globálnom a americkom spôsobe spracovania. Podľa AWS to organizáciám umožňuje zvoliť profil, ktorý určuje oprávnené cieľové regióny. Pre pracovné záťaže, pri ktorých má spracovanie zostať v Indii, je určený profil in.moonshotai.kimi-k3. Ten obmedzuje inferenčné spracovanie na regióny AWS Mumbai a Hyderabad.

Profil určuje miesto spracovania

Kimi K3 je v Amazon Bedrock dostupný prostredníctvom profilov medziregionálnej inferencie. Vyvolaný profil rozhoduje o tom, ktoré cieľové regióny môžu požiadavku spracovať. Výber profilu je preto dôležitou súčasťou návrhu: indický profil vytvára jasne vymedzený rozsah dvoch indických regiónov, zatiaľ čo globálne a americké možnosti slúžia pre iné požiadavky na umiestnenie spracovania.

Pri medziregionálnej inferencii sú dáta počas prenosu medzi regiónmi šifrované a zostávajú v sieti AWS. Používateľ pritom nemusí budovať vlastnú viacregionálnu infraštruktúru VPC. Táto vlastnosť oddeľuje rozhodnutie o oprávnených regiónoch od potreby samostatne vytvárať sieťovú vrstvu medzi nimi.

Rozhrania a vstupné dokumenty

Model možno vyvolať cez koncový bod Bedrock Runtime pomocou viacerých rozhraní API. AWS uvádza Chat Completions a Responses API vrátane streamovania, volania nástrojov a štruktúrovaných výstupov. Aplikácia tak môže priebežne zobrazovať odpoveď, zapojiť definované nástroje alebo požadovať výsledok v predvídateľnom formáte.

Kimi K3 prijíma obrázky, súbory PDF a ďalšie typy súborov. Vstupné súbory možno odoslať priamo pomocou kódovania base64. Model dokáže čítať a analyzovať obrázky obsahujúce viacjazyčný text, takže opísaný tok spracovania dokumentov nepotrebuje samostatnú službu OCR ani prekladu. Neznamená to však, že vstup a výstup musia mať rovnakú podobu: obsah pôvodného dokumentu možno spracovať v jeho písme a výsledok usporiadať podľa potrieb aplikácie.

Štruktúra výsledkov a ukážkový tok

Štruktúrovaný výstup je podporovaný cez volanie funkcií alebo výstupný formát založený na JSON Schema. To je užitočné tam, kde výsledok neslúži iba na čítanie človekom, ale pokračuje do ďalšieho aplikačného kroku. Schéma môže určiť očakávané polia a funkčné volanie môže výsledok prepojiť s nástrojom.

Ukážkový pipeline opísaný AWS vykonáva OCR v pôvodnom písme, získava konfigurovateľné polia JSON, vytvára anglické zhrnutie a odpovedá na viacero nadväzujúcich otázok v hinglish. Príklad spája čítanie viacjazyčného dokumentu, strojovo spracovateľnú extrakciu, zhrnutie a konverzačné otázky do jedného toku. Ide o opis poskytnutej ukážky, nie o nezávislé hodnotenie presnosti.

Cena, odozva a opakované prompty

Servisné úrovne Amazon Bedrock umožňujú voliť pomer ceny a výkonu pre každú požiadavku. Úroveň flex poskytuje pri požiadavkách menej citlivých na latenciu 50-percentnú zľavu oproti predvolenej štandardnej cene. Úroveň priority dáva požiadavke vyššiu prioritu vo fronte za vyššiu cenu. Aplikácia preto nemusí používať jedinú úroveň pre všetky úlohy: voľba sa môže viazať na požadovanú naliehavosť konkrétneho volania.

Kimi K3 zároveň podporuje zníženú cenu pri zásahu do vyrovnávacej pamäte promptu. K dispozícii je implicitný aj explicitný režim ukladania promptov do pamäte. Táto možnosť je relevantná najmä pri opakovane používanom kontexte, pričom konkrétna integrácia si môže zvoliť spôsob práce s pamäťou.

Prevádzková viditeľnosť

Logy a metriky sa ukladajú v zdrojovom regióne, z ktorého bola požiadavka odoslaná, bez ohľadu na cieľový región, ktorý ju spracoval. Voliteľné zaznamenávanie dátových udalostí v CloudTrail môže uložiť cieľový región do poľa additionalEventData.inferenceRegion. Prevádzkový tím tak musí rozlišovať medzi miestom odoslania a miestom inferenčného spracovania.

Celkový obraz je založený na troch samostatných rozhodnutiach: profil vymedzuje možné miesto spracovania, rozhranie a schéma určujú podobu interakcie a servisná úroveň s vyrovnávacou pamäťou ovplyvňuje cenovo-výkonnostnú voľbu. Pri indickom profile zostáva oprávnený rozsah spracovania obmedzený na Mumbai a Hyderabad, zatiaľ čo záznamy zostávajú v zdrojovom regióne požiadavky.