Udowadniają, że wystarczy 27-letni komputer i tylko 128 MB pamięci RAM, aby uruchomić potężny model AI; to magia BitNet

Grupie badaczy udało się uruchomić zaawansowany model językowy AI oparty na Llama na PC z systemem Windows 98. Komputer wyposażony był w procesor Pentium II i jedynie 128 MB pamięci RAM.

Wiekowy komputer vs. sztuczna inteligencja

Wymagania sprzętowe stale rosną i aż trudno uwierzyć, że z modelem AI poradzi sobie sprzęt sprzed 26 lat. EXO Labs, czyli grupa składająca się z pasjonatów-inżynierów z Uniwersytetu Oksfordzkiego udowodniła jednak, że to możliwe.

Powiązane:Sprzedawca twierdzi, że jego komputer do gier jest wart ponad 10 000 złotych i oferuje go za 7500 złotych, ale prawda jest zupełnie inna

Film opublikowany na X ukazuje, jak Panowie uruchomili model językowy na pececie z procesorem Elonex Pentium II o częstotliwości 350 MHz, systemem operacyjnym Windows 98 i z zaledwie 128 MB pamięci RAM. Model został oparty na kodzie Llama2.c Andreja Karpathy'ego, analityka danych związanego z OpenAI i Teslą.

BitNet, czyli AI niezależnie od parametrów

Eksperyment wykazał, że Panom udało się osiągnąć przepustowość 39,31 tokenów na sekundę w modelu o ok. 260 tysiącach parametrów, dzięki czemu maszyna była w stanie szybko i sprawnie generować historie.

Aby to osiągnąć, wykorzystano BitNet, czyli architekturę, która bazuje na procesorach i wykorzystując techniki kompresji danych, zmniejsza rozmiar modeli AI. To pozwala na znaczną redukcję wymagań sprzętowych. Po uruchomieniu modelu przeprowadzono szereg testów, aby upewnić się, że działa on poprawnie i efektywnie wykorzystuje dostępne zasoby. Zdaniem badaczy, przy tej architekturze model z 7 miliardami parametrów potrzebowałby jedynie 1,38 GB pamięci, co byłoby możliwe do wykonania na większości skromnych pecetów.

Model był wstanie wygenerować spójne historyjki. Źródło: EXOLabs

Proces uruchamiania modelu został szczegółowo opisany na blogu EXO Labs.

Ich ambitną misją jest „demokratyzacja dostępu do AI” i zapobieganie monopolizacji sztucznej inteligencji w miejscach, gdzie dostęp do zaawansowanych sprzętowo komputerów jest ograniczony.

Czytaj więcej:Bottleneck Calculator - jak korzystać z kalkulatora „wąskiego gardła” w komputerze?

Julia Sobasz

Julia Sobasz

Z wykształcenia dziennikarka, z powołania metińczyk. Pasja do pisania pojawiła się u niej gdzieś między kartkowaniem starego numeru czasopisma „Przekrój“ a zarywaniem nocy na czytaniu reportaży Wydawnictwa Czarne. Oprócz grania w MMO-rpgi kolekcjonuje retro sprzęt, który jest dla niej sposobem na zachowanie kawałka historii technologii. Niepohamowana fanka i teoretyczka polskich seriali z przełomu lat 90. i 00.