Das Entwicklerteam von Exo-Labs hat ein KI-Sprachmodell auf einem Windows-98-PC mit Pentium-II-Prozessor zum Laufen gebracht – und das mit nur 128 MB RAM.
Was genau wurde getestet? Das Entwicklerteam von EXO Labs hat ein ungewöhnliches Experiment gewagt: Sie wollten herausfinden, ob sich ein modernes KI-Sprachmodell auf einem mehr als 27 Jahre alten PC mit Intel Pentium II, 128 MB RAM und Windows 98 zum Laufen bringen lässt.
Das verwendete Modell basiert auf LLaMA 2, wurde aber stark reduziert, um mit nur 260.000 Parametern in diesem extrem limitierten Hardware-Setup arbeiten zu können. Trotzdem erreichte das System laut den Entwicklern noch eine Verarbeitungsrate von 39,31 Tokens pro Sekunde – das ist ein eindeutiger Indikator, wie effizient KI inzwischen werden kann.
Der vollständige technische Ablauf und die Motivation hinter dem Experiment sind direkt im Blog von EXO Labs detailliert nachzulesen.
Die technische Grundlage
Wie wurde das realisiert? Die Umsetzung war laut EXO Labs alles andere als einfach. Moderne Compiler sind mit der alten Architektur schlichtweg nicht kompatibel. Deshalb griff das Team auf den veralteten Borland C++ 5.02 Compiler zurück – eines der wenigen Tools, das noch auf Windows 98 lauffähig ist.
Ein Compiler ist vereinfacht gesagt ein Programm, das Quellcode in eine Form übersetzt, die der Rechner direkt ausführen kann.
Nach Informationen der Entwickler und Tom’s Hardware wurde der Retro-PC für rund 119 Pfund (rund 140 Euro) auf eBay gekauft. Da USB-Support unter Windows 98 eingeschränkt ist, nutzten die Entwickler PS/2-Tastatur sowie -Maus und übertrugen die benötigten Dateien per FTP vom MacBook auf den alten Rechner.
Das Ziel war es, ein funktionsfähiges KI-Modell komplett offline und lokal zum Laufen zu bringen – ohne beispielsweise eine cloudbasierte Lösung.
Warum ist der Versuch ein großer Schritt für die KI-Entwicklung? Laut EXO Labs war das Ziel nicht, KI auf alter Hardware produktiv nutzbar zu machen, sondern zu demonstrieren, wie effizient aktuelle Modelle durch clevere Architektur werden können.
Wir möchten, dass mehr Anstrengungen unternommen werden, um KI-Modelle auf älterer Hardware laufen zu lassen. Hier ist noch viel Entwicklungsarbeit zu leisten – von der Optimierung der Speichernutzung bis hin zur Erforschung neuer Architekturen, die auf begrenzter Hardware effizient arbeiten können.
Entwickler von EXO Labs via exolabs.net
Dabei kam die sogenannte BitNet-Architektur zum Einsatz. Diese verwendet sogenannte ternäre Gewichtungen (−1, 0, 1) statt der üblichen 16- oder 32-Bit-Werte. So kann man laut JVTech den Speicherbedarf massiv senken. Infolgedessen lässt sich in der Theorie zukünftig auch der notwendige Platz und die bis dato extremen Kosten von flächendeckender KI-Nutzung etwas nach unten regulieren – so zumindest die Hoffnung.
Sofern Projekte wie das von EXO Labs zeigen, dass selbst alte Rechner mit wenigen Ressourcen ausreichen können, rückt ein breiterer Zugang zu KI-Technologie in greifbare Nähe – auch für Schulen, Gesundheitszentren oder kleine Unternehmen in Regionen mit begrenzter Ausstattung. Manche Nationen sind da schon weiter: In einem der größten Länder der Welt soll KI ein fester Bestandteil der Schulbildung werden.
Deine Meinung ist uns wichtig!
Gefällt dir der Artikel? Hast du irgendwelche Kommentare? Sag uns, was du denkst!
Bitte lies unsere Kommentarregeln, bevor du kommentierst.
Interessanter Ansatz. Bin gespannt wohin sich das entwickelt.