
Kimi K3.1 Pro Highspeed jest dostępny w Amazon Bedrock
Kimi K3.1 Pro Highspeed firmy Moonshot AI jest dostępny w Amazon Bedrock. Jest to wersja Kimi K3 poddana dodatkowemu treningowi, zachowująca tę samą otwartą architekturę klasy 3T oraz okno kontekstowe o pojemności miliona tokenów. Moonshot AI informuje, że model generuje tokeny wyjściowe od dwóch do trzech razy szybciej niż Kimi K3.1 Pro. To porównanie szybkości jest deklaracją producenta i nie zostało niezależnie potwierdzone w dostarczonych materiałach.
Kompatybilna ścieżka z Kimi K3
Dla zespołów korzystających już z Kimi K3 w Amazon Bedrock ważna jest ciągłość integracji. Wariant Highspeed używa tego samego punktu końcowego Bedrock, tych samych interfejsów API i funkcji co Kimi K3. Istniejący kod może więc wypróbować nowy model przez zmianę jego identyfikatora, bez zastępowania całej warstwy komunikacji aplikacji.
Model jest dostępny przez zgodne z OpenAI interfejsy Chat Completions i Responses, a także przez Amazon Bedrock Converse i Invoke. Zespół może dobrać interfejs do obecnego klienta i przepływu pracy. Obsługiwane możliwości obejmują wywoływanie narzędzi, ustrukturyzowane dane wyjściowe, konfigurowalne wnioskowanie, obrazy na wejściu i strumieniowanie. Pozwala to tworzyć zarówno interaktywne odpowiedzi, jak i przepływy oparte na narzędziach oraz wyniki przeznaczone do dalszego przetwarzania.
Wnioskowanie i profile inferencji
Model zawsze przeprowadza proces wnioskowania przed udzieleniem odpowiedzi. Aplikacja może ustawić poziom wysiłku na low, high albo max. Gdy ustawienie nie zostanie przekazane, domyślnie używany jest poziom max. Parametr reguluje zatem intensywność procesu, a nie wyłącza go całkowicie.
Dostępne profile inferencji międzyregionowej to global.moonshotai.kimi-k3.1, us.moonshotai.kimi-k3.1 oraz in.moonshotai.kimi-k3.1. Profil amerykański utrzymuje przetwarzanie w odpowiednich regionach USA, a indyjski w odpowiednich regionach Indii. Profil globalny jest osobną dostępną opcją, lecz dostarczone fakty nie przypisują mu takiego samego ograniczenia regionalnego.
Obsługa danych i poziomy usługi
AWS podaje, że dane inferencyjne pozostają w granicy danych AWS, nie są udostępniane Moonshot AI i nie służą do trenowania modelu. Według AWS żądania inferencyjne są również objęte zerową retencją danych oraz zerowym dostępem operatora. Informacje te opisują sposób obsługi danych, natomiast wybór profilu globalnego, amerykańskiego lub indyjskiego pozostaje decyzją wdrożeniową aplikacji.
Dla każdego żądania można wybrać poziom Priority, Standard albo Flex. Flex udostępnia Kimi K3.1 Pro Highspeed za połowę ceny poziomu Standard, w zamian za potencjalnie dłuższy czas odpowiedzi. Wszystkie trzy poziomy współdzielą jeden limit na żądanie. Aplikacja może więc podejmować decyzję osobno dla każdego wywołania, zależnie od tego, czy ważniejsza jest niższa cena, czy inne preferencje dotyczące obsługi.
Jawne buforowanie promptów
Jawne buforowanie promptów jest obsługiwane przez Chat Completions, Responses i Invoke, ale nie przez Converse. Punkt podziału pamięci podręcznej wymaga co najmniej 256 poprzedzających tokenów stabilnej treści, a zbuforowana treść jest przechowywana przez minimum 30 minut. Wybór API wpływa więc na dostępność tej funkcji. Ma ona zastosowanie przy żądaniach wielokrotnie używających odpowiednio długiego, niezmiennego prefiksu.
Połączenie z OpenCode
OpenCode może łączyć się z Kimi K3.1 Pro Highspeed przez interfejs Chat Completions Amazon Bedrock. Konfiguracja wykorzystuje dostawcę zgodnego z OpenAI oraz klucz API Amazon Bedrock. Klucze krótkoterminowe działają maksymalnie 12 godzin i tylko w regionie, w którym je wygenerowano. Klucz, konfiguracja klienta oraz wybrany region muszą zatem pozostawać zgodne.
Udostępnienie modelu łączy długie okno kontekstowe, kilka interfejsów, obrazy wejściowe, strumieniowanie, narzędzia i ustrukturyzowane wyniki. Ocenę można rozpocząć od zmiany identyfikatora modelu, a następnie dobrać profil inferencji, poziom wnioskowania, poziom usługi i interfejs z odpowiednią obsługą pamięci podręcznej. Deklarowaną przewagę szybkości należy przy tym przedstawiać jako twierdzenie Moonshot AI, a nie niezależnie ustalony wynik.