Sztuczna inteligencja bez chmury! Ten potężny model AI mieści się w Twoim iPhonie

Rewolucja w dziedzinie lokalnego przetwarzania danych staje się faktem, drastycznie zmieniając sposób, w jaki korzystamy ze smartfonów. Amerykański startup PrismML zaprezentował Bonsai 27B – ekstremalnie skompresowany model sztucznej inteligencji, którego najlżejsza wersja zajmuje zaledwie 3,9 GB, dzięki czemu po raz pierwszy w historii tak zaawansowane narzędzie bez problemu mieści się w pamięci iPhone’a 17 Pro. Nową technologią, która pozwala na całkowite odcięcie się od chmury i ochronę prywatności, już teraz żywo interesuje się Apple, prowadząc intensywne testy wydajnościowe.

Rewolucja od PrismML. Jak upchnąć gigantyczne AI do kieszeni?

Do tej pory uruchomienie dużych modeli językowych (LLM) wymagało potężnych centrów danych lub zaawansowanych komputerów osobistych z ogromną ilością pamięci RAM. Wszystko zmieniło się wraz z premierą Bonsai 27B, stworzonego przez inżynierów z Caltech, a wspieranego finansowo przez takich gigantów jak Google czy Khosla Ventures.

Model ten bazuje na popularnym, otwartym rozwiązaniu Qwen3.6 27B od Alibaba, które w swojej pełnej, nieskompresowanej formie zajmuje aż 54 GB. Zespół PrismML dokonał jednak technologicznego majstersztyku – zamiast standardowego zapisu 16-bitowego, zastosowano radykalną kwantyzację, zmniejszając wagę parametrów sieci neuronowej do zaledwie 1 lub 2 bitów. W efekcie powstały dwie ultra-lekkie wersje:

• Wersja dla laptopów (Ternary): zajmuje nominalnie 5,9 GB i zachowuje aż 95% oryginalnej wydajności w testach benchmarkowych.
• Wersja dla smartfonów (1-bit): odchudzona do zaledwie 3,9 GB, zachowująca około 90% pierwotnych możliwości.

Co niezwykle istotne dla społeczności technicznej, kod źródłowy udostępniono na bezpłatnej licencji Apache 2.0. Model można bez przeszkód uruchamiać na urządzeniach Apple za pomocą frameworku MLX (iPhone, iPad, Mac) oraz na komputerach z kartami graficznymi NVIDIA przy użyciu środowiska CUDA.

Bonsai 27B w praktyce. Wydajność, bateria i ukryte kompromisy

Z oficjalnej dokumentacji technicznej wynika, że mobilna wersja modelu (3,9 GB) uruchomiona na flagowym iPhonie 17 Pro Max generuje około 11 tokenów na sekundę, co zapewnia w pełni komfortową, płynną pracę z tekstem. Co z baterią? Jedno pełne naładowanie ogniwa smartfona pozwala na przetworzenie około 67 000 tokenów. Należy jednak pamiętać o ograniczeniach sprzętowych – podczas nieprzerwanej, intensywnej pracy przez nieco ponad 5 minut, procesor urządzenia zaczyna się przegrzewać, co uruchamia throttling i zauważalnie spowalnia generowanie odpowiedzi.

Ciemna strona kompresji, czyli gdzie tkwi haczyk

Choć Bonsai 27B radzi sobie doskonale z zadaniami matematycznymi i programistycznymi, drastyczne odchudzenie wagi ma swoją cenę. Analiza wewnętrznych tabel producenta obnaża spore słabości modelu w obszarze analizy obrazu (multimodalności) oraz integracji z zewnętrznymi narzędziami. Są to tymczasem kluczowe funkcje dla nowoczesnych asystentów AI. Dodatkowo, realna waga plików instalacyjnych dla wersji laptopowej waha się w granicach od 7,2 do 8,5 GB w zależności od środowiska uruchomieniowego, co zauważalnie odbiega od haseł reklamowych. Na ten moment brakuje też prostej aplikacji dla masowego odbiorcy – narzędzie skierowane jest głównie do programistów i entuzjastów, choć każdy chętny może sprawdzić jego działanie w wersji przeglądarkowej na platformie Hugging Face.

Apple już testuje nowe rozwiązanie. Nadchodzi koniec chmury?

Prezes PrismML potwierdził w rozmowie z CNBC, że Apple oraz inne czołowe korporacje technologiczne rozpoczęły już wstępne testy nowego modelu pod kątem optymalizacji zużycia energii i szybkości działania. Dla przeciętnego użytkownika ten kierunek rozwoju oznacza jedno: ogromny krok naprzód w kwestii bezpieczeństwa. Przeniesienie obliczeń sztucznej inteligencji bezpośrednio na procesor smartfona sprawia, że nasze najbardziej prywatne zapytania i dane nigdy nie opuszczą pamięci podręcznej urządzenia i nie trafią na serwery zewnętrznych firm.

Bonsai 27B to wyraźny sygnał, że przyszłość sztucznej inteligencji leży w lokalnym przetwarzaniu danych. Choć technologia ta wciąż boryka się z problemami wieku dziecięcego, takimi jak nagrzewanie się smartfona czy słabsza analiza obrazu, to możliwość zmieszczenia 27-miliardowego modelu w kieszeni robi piorunujące wrażenie. Jeśli Apple zdecyduje się na głębszą integrację tego rozwiązania w systemie iOS, rewolucja prywatności stanie się faktem.