Hvad er ChatGPT-tokengrænsen, og kan du overskride den?

ChatGPT har taget den teknologiske verden med storm, og der er ingen mangel på fremskridt og opdateringer. Men på trods af brugen af ​​avanceret teknologi er der en del begrænsende faktorer inden for den nuværende version.

En sådan faktor er token-systemet, som fortsætter med at bryde udviklingscyklussen, hvilket bringer appens nytte i knæ. Hvis du bruger ChatGPT, vil du måske gerne vide om ChatGPTs tokens, og hvad du skal gøre, når du løber tør for tokens.

Lad os tage et skridt tilbage og give dig et indblik i alt, hvad der er at vide om appens underliggende arbejdsmekanismer.

Hvad er et ChatGPT-token?

Hvis du går efter appens facade, ser du kun et computersprog, der adlyder dine kommandoer og giver dig de svar, du søger. Backend er dog bare masser af kode, lærer hvert minut og kommer op i hastighed med de spørgsmål, den besvarer.

ChatGPT konverterer hvert ord til et læseligt token, hver gang du stiller et spørgsmål. For at nedbryde det yderligere er tokens tekstfragmenter, og hvert programmeringssprog bruger et andet sæt tokenværdier til at forstå kravene.

Da computere ikke forstår tekstværdier direkte, opdeler de dem i en kombination af tal, ofte kaldet indlejringer. Du kan endda overveje indlejringer som Python lister, som ligner en liste over relaterede numre, såsom [1.1,2.1,3.1,4.1…n].

Når ChatGPT tager det første input, forsøger det at forudsige det næste mulige input baseret på den tidligere information. Den udvælger hele listen over tidligere tokens og forsøger ved hjælp af sin kodningssyntese at forhindre brugerens efterfølgende input. Den bruger og forudsiger et token ad gangen for at gøre det lettere for sproget at forstå brugen.

For at forbedre forudsigelser og forbedre nøjagtigheden samler den hele listen over indlejringer op og sender den gennem transformerlag for at etablere associationer mellem ord. For eksempel, når du stiller et spørgsmål som "Hvem er Thomas Edison?", samler ChatGPT de mest værdifulde ord op på listen: WHO og Edison.

Transformatorlag har deres rolle at spille i hele processen. Disse lag er en form for neural netværksarkitektur, der er trænet til at opfange de mest relevante søgeord fra en række af ord. Træningsprocessen er dog ikke så enkel, som den lyder, for det tager lang tid at træne transformerlag på gigabyte data.

Selvom ChatGPT kun forudsiger ét token ad gangen, er dens autoregressive teknologi programmeret til at forudsige og feed tilbage til den primære model for at frigive output. Modellen er indstillet til kun at køre én gang for hver token, så resultatet udskrives et ord ad gangen. Outputtet stopper automatisk, når applikationen støder på en stoptoken-kommando.

For eksempel, hvis du ser på token-beregneren på ChatGPT-webstedet, kan du beregne dit token-forbrug på grundlag af dine spørgsmål.

Lad os indtaste noget eksempeltekst, såsom:

Hvordan forklarer jeg brugen af ​​tokens i ChatGPT?

Ifølge lommeregneren er der 46 tegn i denne streng, som vil forbruge 13 tokens. Hvis du deler det op i token-id'er, ser det sådan ud:

[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]

Som pr OpenAI token lommeregner:

En nyttig tommelfingerregel er, at et token generelt svarer til ~4 tegn tekst for almindelig engelsk tekst. Dette oversættes til ca. ¾ af et ord (altså 100 tokens ~= 75 ord).

Gratis vs. Betalte tokens

For at give dig en smag af, hvad der er hvad i ChatGPT-applikationen, tilbyder OpenAI dig et gratis begrænset token-abonnement. Hvis du vil eksperimentere med ChatGPT API, skal du bruge den gratis kredit på $5, som er gyldig i tre måneder. Når grænsen er opbrugt (eller prøveperioden er udløbet), kan du betale efterhånden, hvilket øger den maksimale kvote til $120.

ChatGPT Plus: Er det betalte abonnement det værd?

For at tage det op, kan du endda tilmelde dig ChatGPT Plus tilbud, hvilket sætter dig tilbage med $20 om måneden. I betragtning af den omfattende brug og popularitet af hele AI-modellen er her de bedste funktioner i den betalte abonnementsmodel:

• Adgang til ChatGPT, selv når hjemmesiden oplever nedetid på grund af en tilstrømning af brugere
• Forbedrede svarprocenter
• Førstehåndsadgang til nye funktioner og udgivelser

Hvis du føler, at disse funktioner er det hele værd og op ad din vej, kan du tilmelde dig det betalte abonnement og drage fordel af dem med det samme.

ChatGPT-tokens prisstruktur

Der er et par forskellige applikationsmodeller tilgængelige, som du kan vælge ud fra dine krav:

Ada er den hurtigste, mens DaVinci er den mest kraftfulde model fra denne liste over modeller. Spørgsmålet er spørgsmålet, mens udfyldelsen omhandler svarene.

Maksimale tokengrænser

Hver model giver dig mulighed for at indstille det maksimale antal tokens inden for hver forespørgsel. Denne metode styrer det maksimale antal tokens, som applikationen genererer i et enkelt opkald, hvilket begrænser outputtet. Funktionen max_token er ret nyttig, især når du vil kontrollere længden af ​​dit output, mens du undgår overforbrug af din token-brug og kreditter. Standardlængden er fastsat til 2048 tokens, mens maksimum kan indstilles til 4096 tokens.

Begrænsning af tokenbrugen kan resultere i korte svar, som kan begrænse outputtet og ødelægge din brugsoplevelse.

ChatGPT3 har en øvre grænse på 4096; Men med introduktionen af ​​ChatGPT4 øges token-grænserne som følger:

Hvis dit output er afkortet, skal du øge den angivne maksimumgrænse fra dit dashboard. Husk, at summen af ​​dine prompt- og maksimale tokens altid skal være mindre end lig med modellens maksimale token-grænse.

For eksempel inden for ChatGPT-modellen prompt_tokens + max_tokens <= 4096 tokens.

Lær at kontrollere dine ChatGPT-prompter for at få de bedste resultater

Uanset hvordan du bruger den AI-drevne applikation, er chancerne for, at du bliver nødt til at udtænke måder at lege smart med dine spørgsmål og sætninger. Afhængigt af dine brugsmønstre vil du sandsynligvis bruge ChatGPT i vid udstrækning til hver opgave.

For at få de bedste resultater skal du lære at arbejde med token-metoden og forbedre dine færdigheder for at sikre, at dine brugsgrænser forbliver intakte, mens du giver dig de bedst mulige svar.