Hvad er et Context Window?

Et context window – eller kontekstvindue på dansk – er den mængde information, som en sprogmodel kan behandle og huske på én gang under en samtale eller tekstanalyse. Det fungerer som modellens “arbejdshukommelse” og definerer, hvor meget tidligere tekst den kan tage højde for, når den genererer nye svar eller forudsiger næste ord i en sekvens.

Context window måles typisk i tokens – små tekstenheder, der kan være hele ord, dele af ord eller tegn. En model med et context window på 8.000 tokens kan eksempelvis huske og analysere omkring 6.000-7.000 ord samtidig, afhængigt af sprogets kompleksitet og tokeniseringens effektivitet.

Hvordan fungerer et context window teknisk?

Sprogmodeller baseret på transformer-arkitekturen – som GPT, Claude og Gemini – anvender en mekanisme kaldet “attention”, der vægter forskellige dele af input-teksten forskelligt. Context window sætter den maksimale grænse for, hvor langt tilbage i teksten denne attention-mekanisme kan se.

Når du stiller et spørgsmål til en AI-model, inkluderer dens context window:

  • Hele samtalehistorikken indtil det aktuelle tidspunkt
  • Eventuelle systeminstruktioner eller prompts
  • Det nye input fra brugeren
  • Plads til at generere svaret

Hvis den samlede tekstmængde overskrider context window, bliver de ældste dele af samtalen “glemt”, og modellen kan ikke længere referere til dem i sine svar.

Forskelle mellem forskellige modellers context windows

Der er betydelige forskelle i context window-størrelse mellem forskellige AI-modeller. Tidlige versioner af GPT-3 havde context windows på 2.048-4.096 tokens, mens nyere modeller har ekspanderet denne kapacitet dramatisk:

GPT-4 Turbo opererer med 128.000 tokens, svarende til cirka 96.000 ord eller omkring 300 sider tekst. Claude 3 har udvidet grænsen til 200.000 tokens, hvilket muliggør analyse af hele bøger eller omfattende dokumentsamlinger i en enkelt session. Gemini 1.5 Pro har demonstreret context windows på op til 1 million tokens under visse betingelser.

Disse udvidelser har fundamentalt ændret, hvad AI-modeller kan bruges til i praksis, fra simple spørgsmål-svar interaktioner til kompleks dokumentanalyse og langvarige, nuancerede samtaler.

Praktiske implikationer af context window-størrelse

Fordele ved større context windows

Et større context window giver flere praktiske fordele. Modellen kan opretholde sammenhæng gennem længere samtaler uden at miste tråden eller gentage information, der allerede er blevet dækket. Ved dokumentanalyse kan hele rapporter, kontrakter eller forskningsartikler behandles på én gang uden opdeling.

For kodegenerering betyder det, at modellen kan holde hele kodebaser i hukommelsen og generere mere sammenhængende og kontekst-bevidst kode. Ved oversættelse sikrer det konsistens i terminologi gennem lange dokumenter.

Begrænsninger og udfordringer

Større context windows kommer med tekniske udfordringer. Beregningskompleksiteten i attention-mekanismen stiger kvadratisk med context window-størrelsen, hvilket gør behandlingen væsentligt langsommere og mere ressourcekrævende.

Forskning har også vist, at modeller kan have sværere ved at finde og bruge information fra midten af meget lange contexts – et fænomen kendt som “lost in the middle”. Information placeret i begyndelsen eller slutningen af context window huskes typisk bedre.

Optimering af context window-brug

For at maksimere effektiviteten af context windows kan udviklere implementere flere strategier. Tekst-chunking opdeler lange dokumenter i mindre, overlappende segmenter, der behandles sekventielt. Retrieval Augmented Generation (RAG) henter kun relevante tekstsegmenter baseret på brugerens forespørgsel, hvilket sparer context window-plads.

Opsummering af ældre dele af samtalen kan kondensere information og frigøre plads til ny kontekst. Prioritering af kontekst sikrer, at den mest relevante information placeres strategisk i begyndelsen eller slutningen af context window, hvor modellen er mest opmærksom.

Fremtidige udviklinger inden for context windows

Forskningen inden for context windows fortsætter med at udvikle sig hurtigt. Nye arkitekturer som Mamba og RWKV forsøger at eliminere den kvadratiske kompleksitet i attention-mekanismen, hvilket teoretisk kunne muliggøre uendeligt lange context windows uden proportionelt stigende beregningstid.

Sparse attention-mønstre, hvor modellen kun fokuserer på udvalgte dele af context i stedet for alt på én gang, viser lovende resultater for både effektivitet og præcision. Hierarkiske context-strukturer behandler information på forskellige abstraktionsniveauer, hvilket muliggør mere effektiv brug af tilgængelig kapacitet.

Context window-størrelsen er blevet en afgørende konkurrenceparameter for AI-modeller, da den direkte påvirker anvendelsesmulighederne. For brugere og udviklere er forståelsen af context window-begrænsninger essentiel for at designe effektive AI-løsninger og undgå frustrerende oplevelser, hvor modellen pludselig mister vigtig kontekst.

Her er svar på nogle af de mest almindelige spørgsmål om context windows i AI-sprogmodeller.

Ofte stillede spørgsmål

Hvad sker der, når en AI-model overskrider sit context window?

Når den samlede mængde tekst overskrider context window, begynder modellen at “glemme” de ældste dele af samtalen. Det betyder, at den ikke længere kan referere til eller tage højde for tidligere information, når den genererer nye svar.

Hvorfor måles context window i tokens og ikke i ord?

Tokens er de grundlæggende tekstenheder, som sprogmodeller arbejder med. Et token kan være et helt ord, en del af et ord eller et tegn. Måling i tokens er mere præcis end ord, da sprogets kompleksitet og tokeniseringens effektivitet varierer – typisk svarer 1.000 tokens til cirka 750-850 danske ord.

Hvilken AI-model har det største context window?

Gemini 1.5 Pro har under visse betingelser demonstreret context windows på op til 1 million tokens, hvilket er det største blandt de kendte kommercielle modeller. Claude 3 følger med 200.000 tokens, mens GPT-4 Turbo opererer med 128.000 tokens.

List of terms

Kontakt

Du vil måske synes om...