Firma Apple otworzyła przed nami drzwi do swojego pilnie strzeżonego świata sztucznej inteligencji, wydając raport techniczny, który rzuca nowe światło na najnowsze modele AI zaprezentowane podczas WWDC 2025. Ten dokument jest znaczący, ponieważ po raz pierwszy ujawnia szczegóły dotyczące struktury ich architektury AI. Czym tak naprawdę charakteryzują się te modele, które przyciągnęły uwagę całej branży technologicznej?
Przyciągające uwagę modele AI Apple
Apple zaprezentowało dwa kluczowe modele, które zdefiniują przyszłość ich sztucznej inteligencji. Pierwszy z nich to model lokalny działający bezpośrednio na urządzeniach Apple, którego struktura obejmuje bloki o różnych proporcjach warstw transformera. Blok 1 zajmuje 62,5% warstw, a Blok 2 tworzy pozostałe 37,5%, eliminując jednocześnie projekcje klucza i wartości. Pozwala to na znaczne zredukowanie potrzebnej pamięci o 37,5%, przyspieszając przy tym proces generacji pierwszego tokena. Co istotne, optymalizacja odbywa się bez utraty jakości i prędkości działania modelu.
Drugi zestaw to skalowalne modele serwerowe wykorzystujące nową architekturę Parallel-Track Mixture-of-Experts (PT-MoE). Tego typu modele zapewniają większe możliwości przetwarzania danych, co przyczynia się do ich efektywności.
Główne osiągnięcia i cele treningu modeli
Proces treningowy nowych modeli został zaplanowany w kilku etapach. Oto, czym zajęło się Apple w każdym z nich:
- Pierwszym krokiem było skupienie się na treningu tekstowym z wykorzystaniem distylacji, co pozwoliło obniżyć koszty treningowe nauczyciela modelu aż o 90%.
- Następnie postawiono na rozszerzenie tokenizera, zwiększając liczbę możliwych tokenów do 150 tysięcy – wszystko po to, by model obsługiwał więcej języków.
- Wprowadzenie przetwarzania multimodalnego, które pozwoliło trenować model na podstawie 6 miliardów par obraz-tekst.
- Wzmożone wysiłki skoncentrowano na poprawie zdolności modelu do rozumienia matematyki, kodu i dłuższego kontekstu (do 65 tysięcy tokenów).
- Całość była nieustannie doskonalona z pomocą różnorodnych danych, w tym syntetycznych oraz przez nadzorowany fine-tuning.
Apple wyszło również naprzeciw deweloperom, udostępniając frameworka Foundation Models opartego na Swift, który integruje innowacyjne funkcje AI na urządzeniach firmy. Duży nacisk położono na prywatność użytkowników, integrując lokalne testy jakości i filtrowanie treści.
Podsumowując, Apple nie tylko sukcesywnie rozwija swoją sztuczną inteligencję w kierunku większej efektywności i skalowalności, ale również kładzie nacisk na jej transparentność i etyczność. To krok w stronę bardziej przemyślanej i odpowiedzialnej integracji AI w nasze codzienne życie. Jeśli interesuje Cię temat sztucznej inteligencji i chcesz być na bieżąco z nowinkami, odwiedź nasz portal, by dowiedzieć się więcej: sztucznainteligencjablog.pl.
Dodatkowe informacje znajdziesz w pełnym raporcie Apple Intelligence Foundation Language Models Tech Report 2025 oraz w artykułach na NDTV Profit i 9to5Mac.
