
Microsoft Research Focus #98: geometria, agenci kodujący i wielojęzyczna AI
Microsoft Research Focus – Edition #98, prowadzony przez Ansona Ho, przedstawia badania realizowane w różnych obszarach Microsoftu. Wydanie obejmuje robotykę i inteligencję fizyczną, komunikację wspieraną przez AI, geometrię wysokowymiarową, długotrwałe zadania programistyczne oraz wielojęzyczną tokenizację.
Od widzenia komputerowego do robotyki
Stażystka badawcza Lilika Makabe dołączyła do laboratorium Microsoft Research w Tokio, mając doświadczenie w dziedzinie widzenia komputerowego. Pracowała tam z badaczami zajmującymi się robotyką i inteligencją fizyczną. Ta część wydania pokazuje więc jej wejście do środowiska, w którym wcześniejsze doświadczenia związane z przetwarzaniem obrazu spotykają się z badaniami nad robotyką i inteligencją fizyczną.
Kolejny temat dotyczy komunikacji między językami. Jinyu Li, menedżer Applied Science w Microsofcie, omawia komunikację umożliwianą przez AI, postępy osiągnięte przez badaczy oraz wyzwania, które wciąż pozostają. Obraz badań obejmuje zatem zarówno osiągnięte wyniki, jak i kwestie nadal wymagające rozwiązania.
Rozwiązanie problemu otwartego przez 31 lat
Matematyczna część wydania przedstawia nowe badania, które rozwiązały hipotezę KLS. Opisano ją jako centralny otwarty problem geometrii wysokowymiarowej, pozostający bez rozwiązania przez 31 lat. Przełomowy wynik ustanawia, że proste płaskie cięcia mogą identyfikować najwęższe gardła rozkładów logarytmicznie wklęsłych z dokładnością do stałego czynnika, niezależnie od wymiaru.
Wskazano również sposób sprawdzenia rezultatu. Wyniki dotyczące KLS zostały niezależnie zweryfikowane, a dowód formalnie sprawdzono metodami wspomaganymi komputerowo. Są to dwie odrębne warstwy kontroli: niezależna walidacja wyników oraz formalna weryfikacja samego dowodu.
Niewielka grupa sesji i duża część kosztów
Badania nad agentami kodującymi oparto na analizie 13,5 miliona sesji programistycznych. Mniej niż 8 procent z nich wymagało kompresji kontekstu, ale sesje te odpowiadały za 44 procent całkowitych kosztów przetwarzania AI. Zestawienie oddziela częstotliwość od udziału w kosztach: kompresji potrzebowała mała część sesji, lecz wiązała się ona ze znacznie większą częścią nakładów na przetwarzanie.
Badacze opracowali COMPACTIONBENCH do oceny kompresji kontekstu podczas długotrwałych zadań programistycznych. Zaprezentowali także metodę APEC, która przygotowuje podsumowania w tle, zamiast przerywać pracę agenta kodującego. Pierwszy element służy więc ocenie kompresji, a drugi zmienia sposób włączania przygotowania podsumowania do trwającej pracy.
W przeprowadzonych ocenach APEC poprawił wyniki kodowania, jednocześnie ograniczając koszty nawet o 25,4 procent oraz czas wykonania o 9,6 procent. Raportowany rezultat obejmuje trzy wymiary tych ocen: sprawność kodowania, koszt i czas wykonania. Podane wartości odnoszą się do ocen opisanej metody.
Wspólne słownictwo dla 104 języków
Prace wielojęzyczne dotyczą sposobu dzielenia tekstu na tokeny. Badacze przedstawili Latent Core Tokenizer, który najpierw identyfikuje możliwe do ponownego wykorzystania części słów, a następnie konstruuje wspólne słownictwo dla różnych języków. Kolejność tych działań stanowi istotę opisanego podejścia.
Oceny objęły 104 języki. Latent Core Tokenizer tworzył w nich tokeny o większym znaczeniu językowym niż wiodące rozwiązania alternatywne, zachowywał porównywalną efektywność między językami i poprawiał wyniki modelu w czterech wielojęzycznych benchmarkach. Materiał obejmuje więc jakość językową tokenów, efektywność między językami oraz rezultaty modeli, a nie tylko jedno kryterium porównania.
Edition #98 gromadzi odrębne kierunki badań, przedstawiając dla każdego konkretny punkt odniesienia. Doświadczenie Makabe dotyczy robotyki i inteligencji fizycznej. Li omawia postępy oraz pozostałe wyzwania komunikacji wspieranej przez AI. Prace nad KLS dostarczają precyzyjnego wyniku geometrycznego wraz z niezależną walidacją i formalną weryfikacją. Badania agentów kodujących mierzą koncentrację kosztów i oceniają przygotowywanie podsumowań w tle.
Skala poszczególnych prac jest wyrażona konkretnymi liczbami: 31 lat otwartego problemu KLS, 13,5 miliona przeanalizowanych sesji programistycznych, zmiany kosztu i czasu dla APEC oraz 104 języki i cztery benchmarki w ocenach tokenizera.