Udowadniają, że wystarczy 27-letni komputer i tylko 128 MB pamięci RAM, aby uruchomić potężny model AI; to magia BitNet

Pasjonatom udało się uruchomić model językowy na starym komputerze PC. Pomogła w tym architektura BitNet.

tech
Julia Sobasz14 stycznia 2025
2
Źrodło fot. Midnight Geek | YouTube
i

Grupie badaczy udało się uruchomić zaawansowany model językowy AI oparty na Llama na PC z systemem Windows 98. Komputer wyposażony był w procesor Pentium II i jedynie 128 MB pamięci RAM.

Wiekowy komputer vs. sztuczna inteligencja

Wymagania sprzętowe stale rosną i aż trudno uwierzyć, że z modelem AI poradzi sobie sprzęt sprzed 26 lat. EXO Labs, czyli grupa składająca się z pasjonatów-inżynierów z Uniwersytetu Oksfordzkiego udowodniła jednak, że to możliwe.

Film opublikowany na X ukazuje, jak Panowie uruchomili model językowy na pececie z procesorem Elonex Pentium II o częstotliwości 350 MHz, systemem operacyjnym Windows 98 i z zaledwie 128 MB pamięci RAM. Model został oparty na kodzie Llama2.c Andreja Karpathy'ego, analityka danych związanego z OpenAI i Teslą.

BitNet, czyli AI niezależnie od parametrów

Eksperyment wykazał, że Panom udało się osiągnąć przepustowość 39,31 tokenów na sekundę w modelu o ok. 260 tysiącach parametrów, dzięki czemu maszyna była w stanie szybko i sprawnie generować historie.

Aby to osiągnąć, wykorzystano BitNet, czyli architekturę, która bazuje na procesorach i wykorzystując techniki kompresji danych, zmniejsza rozmiar modeli AI. To pozwala na znaczną redukcję wymagań sprzętowych. Po uruchomieniu modelu przeprowadzono szereg testów, aby upewnić się, że działa on poprawnie i efektywnie wykorzystuje dostępne zasoby. Zdaniem badaczy, przy tej architekturze model z 7 miliardami parametrów potrzebowałby jedynie 1,38 GB pamięci, co byłoby możliwe do wykonania na większości skromnych pecetów.

Model był wstanie wygenerować spójne historyjki. Źródło: EXOLabs
Model był wstanie wygenerować spójne historyjki. Źródło: EXOLabs

Proces uruchamiania modelu został szczegółowo opisany na blogu EXO Labs.

Ich ambitną misją jest „demokratyzacja dostępu do AI” i zapobieganie monopolizacji sztucznej inteligencji w miejscach, gdzie dostęp do zaawansowanych sprzętowo komputerów jest ograniczony.

Julia Sobasz

Julia Sobasz

Z wykształcenia dziennikarka, z powołania metińczyk. Pasja do pisania pojawiła się u niej gdzieś między kartkowaniem starego numeru czasopisma „Przekrój“ a zarywaniem nocy na czytaniu reportaży Wydawnictwa Czarne. Oprócz grania w MMO-rpgi kolekcjonuje retro sprzęt, który jest dla niej sposobem na zachowanie kawałka historii technologii. Niepohamowana fanka i teoretyczka polskich seriali z przełomu lat 90. i 00.

iOS 26 Beta 3. Co nowego? Apple zmienia wygląd, ulepsza AI i wprowadza aplikację dla graczy

iOS 26 Beta 3. Co nowego? Apple zmienia wygląd, ulepsza AI i wprowadza aplikację dla graczy

Planujesz zakup Nintendo Switch 2? Analitycy mają złe wieści dotyczące dostępności konsoli

Planujesz zakup Nintendo Switch 2? Analitycy mają złe wieści dotyczące dostępności konsoli

Microsoft zwalnia 9000 pracowników, a wysoko postawiony członek Xboxa im radzi: sztuczna inteligencja może pomóc przetrwać trudne czasy

Microsoft zwalnia 9000 pracowników, a wysoko postawiony członek Xboxa im radzi: sztuczna inteligencja może pomóc przetrwać trudne czasy

Przez 23 lata przechowywał w stodole ponad 2200 komputerów, a potem sprzedał je na eBayu za mniej niż 400 złotych

Przez 23 lata przechowywał w stodole ponad 2200 komputerów, a potem sprzedał je na eBayu za mniej niż 400 złotych

NVIDIA udostępnia wtyczkę DLSS 4 dla silnika Unreal Engine 5. Programiści zyskają skalowanie AI nowej generacji

NVIDIA udostępnia wtyczkę DLSS 4 dla silnika Unreal Engine 5. Programiści zyskają skalowanie AI nowej generacji