Die ongebruikte transcoding-GPU in je Plex-server is perfect om lokale AI uit te voeren
Als je denkt dat je twee aparte servers nodig hebt om Plex en een lokaal LLM te draaien, denk dan nog eens na. Plex en lokale grote taalmodellen hebben meer gemeen dan je misschien denkt, en daarom is het daadwerkelijk logisch om ze op dezelfde hardware te draaien.
Dezelfde hardware die Plex gebruikt voor transcodering kan lokale LLM's uitvoeren
Zet die GPU aan het werk
Grote taalmodellen, of LLM's, kunnen veel rekenkracht vereisen om te draaien. Het goede nieuws is dat dezelfde rekenkracht die Plex-transcoderingstaken aankan, eigenlijk goed kan werken voor het draaien van een LLM.
Zie je, veel Plex-servers gebruiken een geïntegreerde grafische kaart (iGPU) of een aparte grafische kaart (dGPU) voor transcoding. Grote taalmodellen gebruiken ook hetzelfde type hardware om te draaien, wat betekent dat je server beide taken kan verwerken zonder extra hardware aan te schaffen.
Een ding om op te merken is dat Plex draait op oudere hardware die niet helemaal ideaal is voor LLM's, maar uiteindelijk kun je een LLM draaien op elke hardware waarop Plex kan draaien. Sommige hardware kan het gewoon iets beter aan dan andere.
Je bent waarschijnlijk toch niet 24/7 Plex aan het transcoderen
De meeste Plex-servers hebben veel stilstandstijd
Als je Plex-server ook maar een beetje lijkt op die van mij, dan wordt het transcoderen in vergelijking met het algemene gebruik van de server zelf heel weinig gebruikt. Mijn Plex-server is bijna altijd iets aan het afspelen, maar ik heb grote moeite gedaan om ervoor te zorgen dat hij echt niet vaak hoeft te transcoderen.
Dit betekent dat mijn transcoderingshardware vaker ongebruikt is dan dat deze wordt gebruikt, waardoor het vrij is voor andere taken—zoals LLM's. Als jouw server hetzelfde is, dan kun je gemakkelijk lokale LLM's draaien voor je slimme huis, chatten, of zelfs programmeren zonder extra hardware te hoeven kopen.
Niet alleen maken de meeste Plex-servers zich niet constant zorgen over transcoding, maar hebben de meeste nieuwere processors eigenlijk iets dat een NPU—neuraal verwerkingsunit—wordt genoemd, dat naast de iGPU staat. Dit betekent dat als je Plex-server op nieuwere hardware draait, er een kans is dat het een speciale NPU heeft die vrijwel ongebruikt is, gewoon wachtend tot je LLM's er taken naartoe sturen.
Het andere om te onthouden is dat je grote taalmodel AI-agent waarschijnlijk ook niet 24/7 zal draaien. De meeste platforms zoals Ollama laden het LLM alleen in het geheugen wanneer er een verzoek aan dat LLM wordt gedaan. Dit betekent dat, tenzij je actief chat met een LLM of er een actieve API-aanroep naar het LLM is, het niet in het geheugen van het systeem hoeft te blijven, wat het een geweldige combinatie maakt met Plex.
Zelfs als je één of twee transcodes start, kan moderne hardware beide taken gemakkelijk aan
Moderne systemen hebben meer kracht dan je denkt dat ze hebben
Het geweldige aan moderne servers die Plex kunnen draaien, is dat er genoeg hardware beschikbaar is. Tenzij je transcoding doet van 4K HDR naar 480p SDR, vergen de meeste transcodes eigenlijk niet veel rekenkracht van de server. Dit betekent dat, zelfs als een paar transcodes opstarten, er nog steeds genoeg ruimte overblijft voor je LLM om op de achtergrond te draaien.
Je zou kunnen denken dat je Plex-server draait op een 'mager' Core Ultra 5, en niet op een Core Ultra 7 of Core Ultra 9. Misschien heeft hij zelfs geen speciale grafische kaart.
Dat is helemaal prima, want zelfs de Core Ultra 5 (of oudere i5-systemen, of zelfs de N-serie processors) hebben meer dan genoeg vermogen om meerdere transcodes tegelijk aan te kunnen. Als je een vorm van een dedicated grafische kaart hebt, dan heb je zeker veel meer dan genoeg rekenkracht om zowel transcodering als grote taalmodellen op dezelfde hardware aan te kunnen.
Moderne computers zijn veel krachtiger geworden dan ik denk dat de meeste mensen zich realiseren. Bijvoorbeeld, een paar jaar oude laptopprocessor van het i5-niveau, zoals de i5-12450H, heeft eigenlijk meer prestaties dan de iconische i7-9700K desktopprocessor.
Geekbench toont aan dat de 12e generatie i5 in bijna elk opzicht beter presteert dan de oudere i7. Het heeft een nieuwere iGPU-systeem, perfect voor transcodering. Ze ondersteunen ook DDR5-geheugen, dat extreem snel is en echt kan helpen bij LLM's als er niet genoeg grafisch geheugen is om ze te draaien.
Het is gewoon verbluffend dat zelfs laptops met instapniveauprocessoren betere prestaties leveren dan high-end desktopprocessoren van slechts een paar jaar geleden. Dus denk niet dat je NAS niet genoeg kracht heeft om zowel Plex als een LLM aan te kunnen, zolang het maar op een modernere processorplatform draait.
Het combineren van lokale LLM's en Plex op dezelfde hardware is gewoon logisch.
Hoewel ik mijn eigen homelab zeker heb opgesplitst in meerdere servers, draai ik mijn lokale LLM's en mijn Plex-server op dezelfde hardware om precies de redenen die in dit artikel worden genoemd. Het is gewoon logisch voor mij. De hardware is zelden aan het transcoderen en staat altijd aan, waardoor het de ideale thuisbasis is voor een lokale LLM.