Ik had het mis over lokale LLM's, en deze 4 mythen waren de reden

De meeste mensen nemen aan dat het lokaal draaien van een AI-model betekent dat je een weekend bezig bent met worstelen met Python-omgevingen, command lines en hardware die je niet hebt. Die reputatie klopte een paar jaar geleden, maar de tools zijn sindsdien enorm vooruitgegaan. Ik realiseerde me dat ik een private AI-server thuis kan opzetten zonder veel moeite. Maak niet de fouten die ik maakte door aannames te doen gebaseerd op angst.

Het draaien van kunstmatige intelligentie is niet alleen voor techgenieën

Je kunt AI gebruiken zonder een diploma

Mensen denken meestal dat LLM's alleen voor onderzoekers of codeerwonderen zijn, maar dat is niet waar. Het is begrijpelijk dat mensen aannemen dat ze complexe code moeten schrijven om deze systemen op hun thuiscomputers te laten draaien, aangezien dit voortkomt uit het vroege tijdperk van het vakgebied. Vroeger had je de cloud nodig, maar nu kun je het op je telefoon draaien.

De realiteit van technologie is veranderd. Tegenwoordig kan iedereen binnen enkele minuten een chat starten met behulp van eenvoudige desktopinstallers. Ik gebruik graag apps zoals GPT4All voor niet-technische gebruikers; zij hebben het snelste pad naar chatten. Het installatieproces omvat geen terminalvensters of complexe commando's. Je downloadt de installer, voert deze uit, kiest een model uit een lijst en begint met typen.

LM Studio heeft ook een desktopapplicatie met een modelbrowser en een ingebouwde chat-UI. Hoewel je in het begin misschien nog bang bent om lokale AI uit te proberen, is het starten ermee nu vooral een mentale hindernis. Je hoeft de details van quantisatieniveaus of geheugenallocatie niet te begrijpen om een vraag aan een AI te stellen.

Opslag is niet het grootste knelpunt voor je computers

Focus op geheugensnelheid boven schijfruimte

Mensen nemen aan dat LLM's grote opslagunits en terabytes aan lege harde schijfruimte vereisen. In werkelijkheid heeft quantisatie de zaken volledig veranderd en de opslagbehoeften voor lokale AI verkleind. Door deze bestanden te comprimeren, heeft een model zoals Llama 3.1 8B minder dan vijf gigabyte opslag nodig. Dit maakt het kleiner dan veel videogames.

Zelfs grote modellen met 70 miljard parameters passen in een opslagruimte van 40 tot 50 gigabyte. Hoewel een snelle SSD helpt om je initiële laadtijden te verkorten, is er een groot verschil tussen gewone schijfruimte en werkgeheugen. Zodra het model actief is, is de datasnelheid veel belangrijker dan een grote hoeveelheid lege ruimte op je computer.

Voor lokale LLM-inferentie fungeert de VRAM-capaciteit als een plafond voor of een model kan worden geladen, maar de geheugensnelheid bepaalt de werkelijke tokensgeneratiesnelheid. Geheugensnelheid beperkt de inferentiesnelheid voor grote taalmodellen veel meer dan de ruwe rekenkracht.

Je hebt geen terabytes aan vrije schijfruimte nodig om een AI te hosten. In plaats daarvan moet je waarschijnlijk controleren of je hardware voldoende VRAM heeft om het model te kunnen bevatten.

Lokale modellen zijn niet zo slecht of dom als mensen beweren

Ze zijn sneller en slimmer dan je denkt

Het is gemakkelijk om aan te nemen dat een model dat op een consumentenlaptop draait, niet kan concurreren met de enorme schaal van betaalde clouddiensten. Lokale modellen met een paar miljard parameters zullen niet de redeneercapaciteiten of ruwe kracht van topklasse commerciële LLM's met honderden miljarden parameters evenaren. Dat is waar, maar je hebt dat eigenlijk niet echt nodig.

Als je dagelijkse werklast betekent dat je complexe werkstromen moet veranderen of enorme codebases moet bijwerken, dan ja, heb je misschien een cloudgebaseerd hulpmiddel nodig. Dat betekent echter niet dat lokale modellen nutteloos zijn. Deze kleinere versies verwerken specifieke taken opmerkelijk goed.

Als je eenvoudige persoonlijke projecten wilt uitvoeren, recepten wilt brainstormen of apps wilt programmeren, zijn LLM's nog steeds erg capabel. Je hebt waarschijnlijk geen super geavanceerde LLM nodig voor wat je wilt. Zelfs met een kleiner model zoals Llama 3.1 8B krijg je tekst met snelheden van 90 tot 120 tokens per seconde, wat sneller is dan de gemiddelde mens kan lezen. Hoewel je voor complex professioneel redeneren nog steeds een betaald cloudabonnement zou willen gebruiken, kun je een LLM uitvoeren voor snelle persoonlijke projecten.

Je hebt geen $5.000 set nodig om te beginnen

Gebruik de hardware die je al bezit

Het is gemakkelijk om te denken dat je een werkstation van $5.000 nodig hebt, volgepakt met high-end grafische kaarten, maar dat is een veelvoorkomend misverstand. Kwantisatie is hoe modellen worden gecomprimeerd. Wanneer je 4-bits kwantisatie gebruikt, kun je het geheugenverbruik van een model met ongeveer 75 procent verkleinen met bijna geen merkbaar verlies in zijn redeneercapaciteiten.

Omdat deze enorme compressie het mogelijk maakt, draait een model van 7 miljard of 8 miljard parameters met slechts 4 tot 8 gigabyte geheugen. Als je net begint, is je bestaande hardware zeer waarschijnlijk voldoende. Ik gebruik graag GPT4All; het is open source en houdt mijn LLM goed draaiende op mijn oudere pc. Ik heb zelfs geen speciale grafische kaart nodig om met de AI te chatten.

Je kunt lichte modellen zoals Llama 3.2 3B draaien op een apparaat zo eenvoudig als een Raspberry Pi. Ook, als je toevallig een nieuwere Mac met Apple Silicon gebruikt, heb je al een krachtige AI-machine. Apples uniforme geheugenarchitectuur laat het systeem een enkele enorme RAM-pool delen. Dit betekent dat een gewone laptop modellen kan laden die anders meerdere dure grafische kaarten zouden vereisen.

Maak niet de fouten die ik heb gemaakt

Het draaien van een lokale AI was vroeger iets wat alleen ontwikkelaars met genoeg vrije tijd en geduld zouden proberen. Dat is tegenwoordig niet echt meer het geval. Als je een redelijk goede computer hebt, en in sommige gevallen zelfs een vrij simpele, heb je genoeg om te beginnen. Deze modellen zullen een betaald cloudabonnement voor zwaar professioneel werk niet vervangen, maar voor persoonlijke projecten, snel brainstormen en dagelijkse taken zijn ze prima geschikt. Het is de moeite waard om het te proberen voordat je jezelf ervan overtuigt dat je iets krachtigers nodig hebt dan wat je al bezit.