Ik ben gestopt met het gebruiken van LM Studio toen ik dit open-source alternatief vond
LM Studio is sinds ik het heb ontdekt mijn favoriete app voor het draaien van lokale LLM's. Het is gemakkelijk te gebruiken, de gebruikersinterface is goed afgewerkt, en je kunt elk AI-model binnen een paar klikken operationeel hebben — zelfs als je nog nooit een terminal in je leven hebt aangeraakt. Het is een van de beste tools als je wilt profiteren van de voordelen van een lokale LLM.
Maar hoewel LM Studio gratis te gebruiken is, is het niet open-source. Sommige van de componenten, vooral de commandoregeltools, hebben open licenties, maar de app zelf is propriëtaire software. Voor een tool die gemakkelijk het middelpunt van je lokale AI-workflows kan vormen, is het een risico dat ik ongemakkelijk vond om afhankelijk te zijn van een wijziging in de licentie wanneer de moederbedrijven dat willen, en toen vond ik Jan.
Ik dacht dat ik LM Studio zou missen. Dat deed ik niet
Waarom Jan zich voelt als een echte vervanging voor LM Studio
Het alternatief dat uiteindelijk LM Studio voor mij heeft vervangen, is Jan. Het is een desktopapplicatie waarmee je LLM's volledig offline kunt draaien — net als LM Studio, maar het is niet alleen volledig gratis, het is ook open-source, met alle broncode beschikbaar op GitHub. Er zijn geen verrassingen met licenties, geen eigendomsbeperkingen en geen kleine lettertjes waar je je zorgen over hoeft te maken.
De interface lijkt veel op ChatGPT, wat goed of slecht kan zijn afhankelijk van je smaak. Als je echter nieuw bent in het concept van lokale LLM's, is het vertrouwd, overzichtelijk en uitnodigend. Jan is gemaakt om lokale AI voor iedereen toegankelijk te maken, dus het UI-ontwerp dat ChatGPT imiteert is geen toeval. Je krijgt een chatvenster, een modelhub en een instellingenpagina die geen ontwikkelaarsexpertise vereist om te begrijpen.
Als je overstapt van LM Studio, zal de modellbibliotheek ook vertrouwd aanvoelen. Je kunt populaire open-source modellen zoals Llama, Gemma, Mistral, Qwen, DeepSeek en meer direct vanuit de app doorbladeren en downloaden. Modellen zijn ook getagd om aan te geven of ze goed op je hardware zullen draaien of dat ze misschien te zwaar zijn om aan te kunnen.
Jan wordt ook geleverd met een OpenAI-compatibele API-server. Dit betekent dat je andere tools zoals Cursor, Open WebUI, aangepaste scripts en wat je ook maar aan het bouwen bent naar Jans lokale server kunt wijzen en het kan laten werken zoals het zou doen bij het communiceren met de API van OpenAI. Dit is geweldig om code en prototypes uit te testen voordat je begint met het koppelen aan de daadwerkelijke (en betaalde) API van OpenAI. De server ondersteunt ook standaard CORS (Cross-Origin Resource Sharing), wat het vrij gemakkelijk maakt om te koppelen aan webprojecten.
Prestaties, hoewel bepaald door het model dat je gebruikt, zijn ook vrij vergelijkbaar met LM Studio. Het gebruik van tokens is ook niet significant anders dan bij LM Studio, en de ruwe inferentiemotor is in wezen hetzelfde. Je krijgt ook ingebouwde extensies voor het geval je de functionaliteit van de app wilt uitbreiden.
De privacyvoordelen zijn eigenlijk betekenisvol
Lokale modellen, geen cloud, geen verrassingen
AI lokaal draaien is al de privacybewuste keuze; echter, met Jan kun je een stap verder gaan. Alles van je voorkeuren, chatgeschiedenis, modelparameters en het model zelf blijft op je apparaat. Er hoeft geen account aangemaakt te worden, je hoeft je geen zorgen te maken over telemetriegegevens, en er is geen afhankelijkheid van de cloud vereist. Je kunt een volledig afgezonderde AI-gebruikerservaring hebben als je dat wilt.
Twee nadelen van deze aanpak zijn dat je ten eerste beperkt bent tot de AI-modellen die je hardware kan draaien, en ten tweede, open-source LLM's die je kunt downloaden en draaien, niet altijd zo goed zijn als hun online tegenhangers. Er zijn taken waarvoor je een lokale LLM zou moeten gebruiken, maar hij kan niet alles doen.
Jan stelt je in staat dit te verhelpen door ondersteuning te bieden voor externe API's zoals OpenAI, Anthropic, Claude en meer als je cloudtoegang tot hun respectieve modellen wilt. Deze benadering vereist niet dat je tussen de twee kiest. Het is standaard lokaal (en privé), maar je hebt altijd de optie om cloudgebaseerde modellen te kiezen wanneer de taak dat vereist.
Het is niet vlekkeloos
De ruwe randen zul je snel opmerken
Als je overstapt van LM Studio, zul je het detail missen dat het biedt, vooral in de GPU-laagconfiguratie, die veel visueler en toegankelijker is in LM Studio. Bovendien zijn functies zoals documentanalyse verder ontwikkeld. Jan heeft het ingehaald, maar als je fijne afstemmingscontrole wilt voor elke inferentieparameter, is LM Studio de betere keuze.
Als je de voorkeur geeft aan werken in de terminal, overtreft Ollama zowel LM Studio als Jan. Hierdoor zijn de opstarttijden van beide visuele LLM-programma's vergelijkbaar, maar trager dan Ollama. Jan zit ergens in het midden van de competitie — transparanter dan LM Studio en aanzienlijk gebruiksvriendelijker dan Ollama.
Het werd stilletjes mijn standaard
Waarom ik helemaal ben gestopt met het openen van LM Studio
Er staat niet veel in de weg om over te stappen naar Jan van LM Studio. De leercurve is bijna vlak, en de meeste van je modellen en gegevens kunnen probleemloos worden overgezet. Het verschil zit in het eigenaarschap van je lokale AI-stack. Met Jan heb je volledige controle, en zullen onverwachte koerswijzigingen of licentiewijzigingen je niet verrassen.
In praktisch dagelijks gebruik doet Jan alles wat LM studio doet, behalve dat het komt met de gemoedsrust die komt van software die je daadwerkelijk kunt auditen. Je behoudt nog steeds alle controle en voordelen die je nodig hebt, maar dan zonder enig potentieel gedoe.