Ik ben gestopt met betalen voor ChatGPT en heb een privé-AI-setup gebouwd die iedereen kan gebruiken
Ik ben de laatste tijd echt bezig geraakt met het lokaal draaien van LLM's, en nadat ik alle coole dingen had gezien die je met MCP-tools kunt doen, dacht ik dat het tijd was om mijn eigen setup een beetje te upgraden.
Ik sprong aanvankelijk op de hype-trein toen DeepSeek R1 werd gelanceerd, maar sindsdien zijn er een heleboel nieuwe modellen uitgekomen. Met hoe snel alles verandert, dacht ik dat het logisch was om mijn workflow ook te verfijnen.
LM Studio is de beste lokale LLM-app die ik (tot nu toe) heb gebruikt
Ollama is goed, maar ik vind dit beter
Ik begon vorig jaar voor het eerst te experimenteren met lokale LLM's met Ollama. Het werkte redelijk goed, maar mijn arme MacBook Air met slechts 8 GB unified geheugen was beslist niet gebouwd om dat soort werkbelasting aan te kunnen. Ik wilde toch iets anders proberen, deels uit nieuwsgierigheid en deels om te zien of ik meer prestaties kon halen.
Daarom besloot ik LM Studio een kans te geven. Het is een app waarmee je LLM's lokaal op je machine kunt downloaden en uitvoeren, en het heeft ook een overzichtelijke gebruikersinterface. Omdat ik een Mac gebruik, was MLX-ondersteuning voor mij een groot pluspunt. Als je er niet bekend mee bent, MLX is het machine learning-framework van Apple dat speciaal is ontworpen voor Apple Silicon.
Het stelt modellen in wezen in staat om efficiënter te draaien met de GPU. Maar toch wilde ik deze woorden in cijfers uitdrukken, dus heb ik Ollama rechtstreeks vergeleken met LMStudio, met hetzelfde model.
Ik kreeg meer tokens per seconde met LM Studio, maar het verschil was klein genoeg dat het de algehele ervaring niet echt veranderde. Toch neem ik alle extra prestaties die ik kan krijgen.
Dat gezegd hebbende, ik denk niet dat het een groot verschil maakt of je voor Ollama of LM Studio kiest, vooral omdat beide afhankelijk zijn van vergelijkbare onderliggende frameworks om modellen lokaal uit te voeren.
Mijn belangrijkste klacht toen ik net begon, was het gebrek aan multimodale ondersteuning. Maar dat is nu niet echt meer een probleem. Zowel Ollama als LM Studio ondersteunen nu multimodale modellen, en er zijn een paar degelijke opties die tekst en afbeeldingen verrassend goed kunnen verwerken op lokale hardware.
Het kiezen van het juiste model kan een beetje lastig zijn
Het kan een dure hobby zijn
Wanneer je LM Studio voor het eerst installeert, is het allereerste wat je moet doen een model kiezen. Dat kan een beetje overweldigend aanvoelen als je hier nieuw in bent, omdat er geen duidelijke “gebruik gewoon deze” oplossing is. De juiste keuze hangt echt af van je hardware.
Als je het Model Zoeken-menu in LM Studio opent, zie je een lijst van de populairste modellen. Een eenvoudige manier om te begrijpen hoe veeleisend een model zal zijn, is door te kijken naar het getal net voor de "B" in de naam ervan.
Die "B" staat voor miljarden parameters. Over het algemeen geldt: hoe hoger dat aantal, hoe capabeler het model meestal is. Dit betekent ook dat er meer middelen nodig zijn. Op een Mac met 8 GB Unified Memory lijkt 3 tot 4 miljard parameters de ideale waarde te zijn. Op een pc kan het wat verwarrender worden. In plaats van gewoon systeem-RAM, is de hoeveelheid VRAM die je hebt belangrijker.
Als je 8GB VRAM hebt, kun je comfortabel experimenteren met 7B-parameter modellen, vooral in lichtere quantisaties. Uit mijn ervaring is de beste aanpak om te beginnen met een kleiner model en geleidelijk op te schalen totdat je het ideale punt vindt.
Persoonlijk ben ik meer geneigd geweest naar het Gemma 3 4B-model, dat is gebouwd op dezelfde basis als de Gemini-modellen van Google. Dat gezegd hebbende, zou ik nog steeds aanraden om ook de Qwen-modellen te proberen. Afhankelijk van wat je doet, kunnen ze veel beter voor je zijn.
Je kunt zelfs webzoekopdrachten toevoegen aan je lokale LLM
DuckDuckGo komt te hulp
Een van de grootste klachten die ik over lokale LLM's heb gezien, is hoe beperkt ze kunnen aanvoelen in vergelijking met cloudmodellen zoals ChatGPT als het gaat om websearch. Het is niet erg nuttig als je vraagt naar de nieuwste iPhone en de LLM begint te praten over de iPhone 14. Dat is een gebied waar cloudmodellen meestal het voordeel hebben gehad.
LM Studio heeft een ingebouwd plug-insysteem en het toevoegen van webzoekopdrachten is vrij eenvoudig. Ga gewoon naar de DuckDuckGo-plug-inpagina en selecteer Uitvoeren in LM Studio.
Zodra het is ingeschakeld, zul je elke keer dat je een model uitvoert een optie onder het chatvak zien waarin wordt gevraagd of je DuckDuckGo voor je zoekopdracht wilt raadplegen. Als je het inschakelt, zal LM Studio live zoekresultaten ophalen en deze in het model verwerken voordat het een antwoord genereert.
Dat is echter niet alles wat je met plugins kunt doen. Het LM Studio-team heeft een paar plugins gebouwd die ook super handig zijn. Ze hebben bijvoorbeeld een Wikipedia-plugin waarmee je LLM artikelen van Wikipedia kan lezen en doorzoeken (duh).
Er is ook een JavaScript Sandbox-plugin, die erg handig kan zijn als je van vibe-coding houdt en snel een ruwe indruk wilt krijgen. Maar ik zou niet zeggen dat het de moeite waard is om iets productieklaars te maken.
Laat de bedrijven vallen
Je kunt LM Studio zo instellen dat je toegang hebt tot je LLM vanaf je telefoon, maar als je alle inferentie direct op je telefoon wilt verplaatsen, is dat ook mogelijk. Je kunt kleinere LLM's op een Android-telefoon uitvoeren, hoewel ze niet zo krachtig zullen zijn als wat je op je Mac zou krijgen.
Toch verbeteren deze lichte modellen zich in een razend tempo. En nu de hardwarekosten naar verwachting zullen stijgen, zou het me niet verbazen als bedrijven zoals OpenAI of Google hun abonnementskosten verhogen. Het voelt geruststellend om een setup te hebben die door niets daarvan wordt beïnvloed.