Claude versloeg Gemini op een test met een document van 150 pagina's, maar niet om de reden die je zou denken

Het contextvenster is niet iets waar je aan denkt wanneer je voor het eerst begint met het gebruik van LLM's zoals Gemini of Claude. Het beïnvloedt eerlijk gezegd ook de meeste korte interacties die je op deze platforms hebt niet. Dit verandert echter wanneer je consistente brongetrouwheid wilt in de antwoorden die je van een AI-chatbot krijgt.

Bijvoorbeeld, wanneer je een complex essay of een whitepaper met meerdere onderdelen wilt analyseren, wordt het contextvenster in een AI-tool zoals Claude en Gemini bijzonder nuttig. Voor wat het waard is, pronken zowel Claude als Gemini met hun grote contextvensters, maar we moeten zien of deze beweringen worden ondersteund door prestaties in de echte wereld.

De vraag was vrij eenvoudig: hoe presteren de contextvensters van Claude en Gemini bij het omgaan met een groot document?

De echte reden waarom ik besloot deze test uit te voeren

Een terugkerende knelpunt bij dichte documenten en twee concurrerende antwoorden

Afgezien van nieuwsgierigheid, was er een persoonlijke reden om erachter te komen welke van de aanzienlijk grotere contextvensters voor Claude en Gemini de betere optie was. Ik gebruik regelmatig AI-tools voor verschillende onderzoeksgerichte taken. Zo moet ik bijvoorbeeld soms een hoofdstuk samenvatten of intra-tekstuele verwijzingen vinden.

Alveel ik van NotebookLM hou vanwege de brontrouw, kan ik het niet altijd benaderen voor mijn reguliere vragen. Dus werden Claude en Gemini natuurlijk mijn voorkeursopties. Het probleem is de verwarring die ik ervaar wanneer de antwoorden van Claude en Gemini aanzienlijk verschillen, vooral wanneer ik een prompt met een grote bijlage indienen.

Aangezien ik te maken heb met gevallen waarin ik me geen AI-hallucinaties kan veroorloven, dacht ik dat het het beste was om de verwarring te beëindigen. Eigenlijk wilde ik bepalen welke van de grotere contextvensters werkte wanneer het belangrijk is om het hele plaatje te hebben.

Hoe ik de vergelijking heb gestructureerd zonder de kansen te beïnvloeden

Het 150 pagina's tellende document, precies dezelfde prompts, en wat ik eigenlijk aan het meten was

Zoals ik al zei, wilde ik begrijpen hoe zowel Claude als Gemini omgaan met een voldoende groot document als context. Ik wilde echter ook niet dat ze een eenvoudig verhaal zouden overwegen. Integendeel, ik wilde dat beide AI-tools een document met intra-tekstuele verbanden en meerdere inhoudstypen, waaronder paragrafen en tabellen, zouden behandelen. Ik besloot te kiezen voor het gedetailleerde syllabus van een masterprogramma waarmee ik al vertrouwd was.

Er waren ook nog een paar extra stappen om vooringenomenheid te vermijden. Eén: ik besloot elke AI drie vragen te stellen:

1. Een samenvattend niveau vraag
2. Een terugvinding die intra-tekstuele verwijzing vereist
3. Een synthese die begrip vereist

Deze vragen werden geselecteerd vanwege hun verschillende niveaus van vaardigheidseisen. Ik zorgde er ook voor dat ik dezelfde prompts gebruikte als Gemini en Claude. Ten tweede, ik vergeleek de antwoorden van Claude en Gemini met mijn begrip van het betreffende document, in plaats van een face-to-face vergelijking tussen de AI-tools te doen. Op deze manier kon ik aangeven waar elke AI-tool goed werkte en waar nog ruimte was voor verbetering.

Claude behield de volledige context; Gemini begon halverwege draadjes los te laten

Het gedragsverschil kwam op specifieke manieren naar voren

Zoals je kunt raden, hebben Claude en Gemini een behoorlijke prestatie geleverd bij het beantwoorden van alle drie de prompts, en ze waren ook zeker van hun antwoorden. Behalve één sectie was de prestatie echter niet bijzonder vergelijkbaar. Hier zijn enkele inzichten die ik heb opgedaan terwijl ik probeerde het gedrag van Claude en Gemini binnen een document van 150 pagina's te begrijpen.

De reacties op de eerste prompt, die beide AI's vroeg om de kernargumenten van het document samen te vatten, waren vergelijkbaar en even goed. Zowel Claude als Gemini gaven gedetailleerde samenvattingen van het syllabus, maar ik vond Claudes antwoord iets gedetailleerder. Vanuit een nauwkeurigheidsperspectief waren zowel Claude als Gemini echter prima. Maar al snel veranderde de situatie.

De tweede prompt vroeg beide AI-tools om intra-tekstverwijzing uit te voeren, waarbij ze twee ideeën uit verschillende delen van het document moesten verbinden. Hier merkte ik echter dat Claude de volledige context behield, terwijl Gemini enkele belangrijke punten miste. Bijvoorbeeld, beide antwoorden somden meerdere cursussen onder één categorie op, maar Gemini miste verschillende geschikte opties uit verschillende semesters.

De op inferentie gebaseerde prompt toonde ook vergelijkbare effecten. Natuurlijk, zowel Claude als Gemini deden aan inferentie op basis van de tekst, maar de reikwijdte van die inferentie was een andere kwestie. Claude voegde geschikt bewijs toe en verbond deze punten met elkaar voordat hij een behoorlijk gesynthetiseerd antwoord presenteerde. Aan de andere kant leek Gemini alleen de oppervlaktekundige betekenis te herhalen.

Daarom, als je je zorgen maakt over iets anders dan samenvattingen, moet je een keuze maken.

Wat een groter contextvenster je in de praktijk daadwerkelijk oplevert

Tokenlimieten zijn minder belangrijk dan consistentie, en consistentie heeft echte limieten

In het licht van wat ik heb geleerd van Claude en Gemini, wil ik de discussie over het tokenvenster hervatten. Ter referentie: het krachtigste model van Googles Gemini heeft een tokenvenster van 2 miljoen. De modellen van Claude zijn daarentegen ingesteld op 200K tokens. Het document van 150 pagina's dat ik voor deze taak gebruikte, viel ruimschoots binnen het tokenvenster voor elk hulpmiddel. Dus ik maakte me eigenlijk geen zorgen dat het verzoek vast zou lopen. Maar ik heb nu een nieuw inzicht gekregen in hoe consistentie belangrijker is dan het contextvenster.

Ik bedoel niet te zeggen dat het contextvenster er niet toe doet, maar het heeft geen zin om een contextvenster van 1 miljoen of 2 miljoen tokens te promoten als het model de aandacht verliest en de kwaliteit van het antwoord na verloop van tijd achteruitgaat. Helaas gebeurde dit bij Gemini, dat het grotere contextvenster van de twee heeft. Het grotere contextvenster helpt Gemini niet wanneer het geleidelijk aanwijzingen uit het referentiedocument mist.

In vergelijking heeft Claude het veel beter gedaan bij het verwijzen binnen documenten en het synthetiseren. Dit is meer gedaan vanwege het aandachtsvermogen van het model dan uitsluitend vanwege het contextvenster.

Gemini's 1M/2M tokens venster blijft belangrijk

Laten we zeggen, laten we niet geloven dat het grotere contextvenster van Gemini helemaal niet uitmaakt. Er zijn momenten waarop je de context twee- of tienvoudig moet vergroten, en dit is waar die 1 miljoen tokens van pas komen.

Je kunt een aantal documenten van 200 pagina's hebben of een zeer uitgebreid rapport dat geanalyseerd moet worden. Dit is waar Gemini van pas komt. Natuurlijk krijg je een beter antwoord van Gemini wanneer je het gebruikt voor bepaalde taken, zoals samenvattingen maken, snel opzoeken, of het vinden van de relatie tussen verschillende documenten, in plaats van diep in één document te duiken.