Je kunt (en zou moeten) een klein LLM op je Android-telefoon draaien

Ik ben al een tijdje bezig met lokale LLM's op mijn computer. Het begon allemaal als een hobby toen ik DeepSeek-R1 lokaal op mijn Mac draaide, en het is nu een behoorlijk geweldig onderdeel van mijn workflow.

Ik heb bijna elke populaire lokale AI-inferentie-app op Android geprobeerd, en de prestaties waren altijd het grootste probleem. Je werkt al met serieuze hardwarebeperkingen omdat, duh, het een telefoon is. Dat maakt de kant van de software absoluut cruciaal. Daarin slaagt MNN Chat echt perfect.

MNN Chat is de beste lokale LLM-app die ik ooit heb geprobeerd

Ik wou nog steeds dat Ollama op Android was

Het eerste interessante aan MNN Chat is dat het eigenlijk een open-source project is ontwikkeld door Alibaba. De inferentiemotor zelf is specifiek gebouwd om LLM's efficiënt te laten draaien op mobiele hardware, zonder de toeters en bellen van luxe GPU's. Hoewel de app in de Play Store staat, kun je de code zelf bekijken op hun GitHub-pagina.

Het heeft verreweg de beste prestaties die ik tot nu toe heb getest voor het draaien van lokale modellen op Android. Maar voordat je begint, moet je een paar dingen weten. Om te beginnen heb je een redelijk krachtige telefoon nodig. Ik heb al mijn modellen gedraaid op een Samsung Galaxy S24 Ultra met 12GB RAM, wat zeker aan de hogere kant is volgens de standaarden van telefoons.

Dat gezegd hebbende, als je het beperkt wilt houden, raad ik nog steeds aan om minstens 8 GB RAM vrij te hebben voor een bruikbare ervaring met kleinere modellen. Het wordt ook geleverd met andere handige extra's. Als je niet zeker weet welk model je moet gebruiken omdat je niet weet welk model het meest presteert, is er een ingebouwde benchmarkmodus om je te helpen een keuze te maken.

Je hoeft ook niet op internet te zoeken naar werkende modellen. MNN Chat bevat een galerij in de app, zodat je modellen direct kunt pakken en downloaden zonder de app te verlaten.

Je krijgt een heel arsenaal aan modellen, klaar voor gebruik

Je hoeft de modellen niet zelf te downloaden

Het opzetten van MNN Chat is eigenlijk heel eenvoudig. Alles wat je hoeft te doen is de app openen en naar Models Market gaan. Hier zie je een volledige lijst met beschikbare modellen die je kunt downloaden via Hugging Face. Als je niet weet wat Hugging Face is, het is eigenlijk een van de grootste repositories van open-source AI-modellen.

Hier hoef je alleen maar op downloaden te tikken naast het model dat je wilt, en het is klaar voor gebruik zodra de download is voltooid. Het moeilijkere deel is eigenlijk beslissen welke je moet kiezen.

In de lijst zie je een paar bekende namen zoals Qwen, DeepSeek of Llama. Eén ding dat je snel zult opvallen is dat elke modelnaam een nummer gevolgd door een B bevat, zoals gemma-7b.

Die B staat voor miljarden parameters. In eenvoudige termen geldt: hoe hoger het aantal, hoe krachtiger het model meestal is, maar het kost ook meer geheugen en werkt trager op een telefoon. Voor de meeste smartphones uit het middensegment of vlaggenschip zou ik aanraden om modellen tot 4 miljard parameters te gebruiken, maar het hangt echt af van je telefoon. Uit mijn ervaring zijn de Qwen-modellen over het algemeen het beste geweest en ze zijn zelfs multimodaal.

Zodra het is gedownload, kun je gewoon naar Mijn Modellen gaan en ermee gaan chatten. Je kunt zelfs de systeemprompt aanpassen door op het hamburgermenu rechtsboven te klikken en naar Instellingen > Systeemprompt te gaan.

Je kunt hier ook het maximale aantal nieuwe tokens aanpassen, wat gewoon bepaalt hoe lang de reacties van het model kunnen zijn voordat het stopt met het genereren van tekst.

Het gaat om meer dan alleen LLM's

Tekstgeneratie is zo 2025

Binnen de Models Market heb je misschien gemerkt dat er verschillende categorieën zijn voor beeldgeneratie, audio, video en meer. Het is eigenlijk precies wat het klinkt. Je kunt modellen downloaden en gebruiken die meer doen dan alleen tekst genereren, inclusief multimodale modellen die ook met beelden kunnen werken.

Een echt coole ding dat je hiermee kunt doen, is verschillende soorten modellen integreren om iets te krijgen dat lijkt op de spraakmodus van ChatGPT. Wanneer je een LLM uitvoert, heb je misschien gemerkt dat er rechtsboven een telefoonpictogram staat.

Vanaf hier moet je een tekst-naar-spraakmodel van je keuze downloaden. Je hebt ook een ASR-model nodig dat je spraak in tekst omzet. Daarna is alles ingesteld en kun je beginnen met praten met je lokale LLM via spraak.

Houd er alleen rekening mee dat al deze modellen snel veel ruimte beginnen in beslag te nemen, zoals ik eerder al zei. Als je een model wilt gebruiken dat niet beschikbaar is op HuggingFace, kun je het zelf importeren via ADB.

Je zult je verwachtingen moeten bijstellen

Dat spreekt voor zich, verwacht natuurlijk niet de kwaliteit van ChatGPT of Gemini, vooral niet voor dingen zoals het genereren van afbeeldingen. Het belangrijkste voordeel hier is dat je deze modellen lokaal kunt draaien zonder internetverbinding, en je gegevens blijven op je apparaat. Er zijn ook talloze andere open-source lokale LLM-apps die je kunt gebruiken om je ervaring te verbeteren.

Helaas is het gewoon onmogelijk om enorme modellen te draaien op iets zo kleins als een telefoon. Maar toch is er veel dat je met deze technologie kunt doen, zoals zelfs een Perplexity-clone maken met lokale LLM's.