Hvorfor er ChatGPT-4 så langsom sammenlignet med ChatGPT-3.5?

Med den nyeste version af ChatGPT, GPT-4, udgivet i marts 2023, undrer mange sig nu over, hvorfor den er så langsom sammenlignet med sin forgænger, GPT-3.5. Så hvad er hovedårsagen her?

Hvorfor er ChatGPT-4 så træg, og bør du holde dig til GPT-3.5 i stedet?

Hvad er ChatGPT-4?

ChatGPT-4 er den nyeste model af OpenAI's chatbot, kendt generelt som ChatGPT. ChatGPT er drevet af kunstig intelligens, så det kan besvare dine spørgsmål og forespørgsler langt bedre end tidligere chatbots. ChatGPT bruger en stor sprogmodel drevet af en GPT (Generative Pre-trained Transformer) til at give information og indhold til brugerne, samtidig med at de er i stand til at tale.

ChatGPT har en bred vifte af muligheder, hvilket gør det nyttigt for millioner. For eksempel kan ChatGPT skrive historier, formulere vittigheder, oversætte tekst, uddanne brugere og meget mere. Mens ChatGPT også kan bruges til mere ulovlige handlinger, som f.eks skabelse af malware, dens alsidighed er noget revolutionerende.

ChatGPTs GPT-4-model blev udgivet den 14. marts 2023. Denne version af ChatGPT er designet til bedre at forstå følelsesmæssigt sprog gennem tekst og samtidig bedre forstå forskellige sproglige dialekter og billedbehandling. GPT-4 kan også holde længere samtaler og effektivt reagere på længere brugerbeskeder.

Derudover overstiger GPT-4's parametre parametrene for GPT-3.5 i vid udstrækning. ChatGPTs parametre bestemmer, hvordan AI'en behandler og reagerer på information. Kort sagt bestemmer parametre, hvilken færdighed chatbotten har til at interagere med brugere. Mens GPT-3.5 har 175 milliarder parametre, har GPT-4 utrolige 100 billioner til 170 billioner (rygter – OpenAI har ikke bekræftet dette tal).

Det var OpenAI's GPT-3.5, der blev brugt til at drive ChatGPT, som nu er den mest populære AI-chatbot i verden. Så GPT-3.5 har gjort et ubestrideligt præg i AI-riget. Men tingene går hele tiden frem i teknologiindustrien, så det er ingen overraskelse, at GPT-3.5 nu har en efterfølger i GPT-4.

GPT-4 er dog på ingen måde perfekt. Faktisk skaber GPT-4's lange responstider en del opsigt. Så lad os se nærmere på dette problem, og hvorfor det kan ske.

ChatGPT-4 er langsom

Mange bemærkede ved udgivelsen af ​​GPT-4, at OpenAIs nye chatbot var utrolig langsom. Dette efterlod snesevis af brugere frustrerede, da GPT-4 var beregnet til at være et skridt op fra GPT-3.5, ikke tilbage. Som et resultat har GPT-4-brugere taget til online platforme, såsom Reddit og OpenAI's community board, for at diskutere problemet.

På OpenAI's Community Forum, er en række brugere kommet frem med deres GPT-4 forsinkelsesfrustrationer. En bruger udtalte, at GPT-4 var "ekstremt langsom" i deres ende, og at selv små anmodninger til chatbotten resulterede i usædvanligt lange forsinkelser på over 30 sekunder.

Andre brugere var hurtige til at dele deres erfaringer med GPT-4, med en kommentar under indlægget, at "det samme opkald med de samme data kan tage op til 4 gange langsommere end 3,5 turbo."

I en anden OpenAI Community Forum indlæg, kommenterede en bruger, at deres meddelelser nogle gange bliver mødt med en "fejl i kropsstrømmen" besked, hvilket resulterer i intet svar. I samme tråd udtalte en anden person, at de ikke kunne få GPT-4 til at "svare med succes med en komplet script." En anden bruger kommenterede, at de blev ved med at løbe ind i netværksfejl, mens de forsøgte at bruge GPT-4.

Med forsinkelser og mislykkede eller halvbagte svar ser det ud til, at GPT-4 er fyldt med problemer, der hurtigt udsætter brugerne.

Så hvorfor, præcist, sker dette? Er der noget galt med GPT-4?

Hvorfor er GPT-4 langsom sammenlignet med GPT-3.5?

I OpenAI Community Forum-indlægget, der refereres til ovenfor, svarede en bruger og antydede, at forsinkelsen skyldtes et "aktuelt problem med hele infrastrukturen overbelastning," og tilføjer, at der er en udfordring i "at tackle skalerbarhed på så kort en tidsramme med denne popularitet og antallet af brugere af både chat og API."

I en Reddit indlæg uploadet i r/singularity subreddit, oplyste en bruger et par mulige årsager til GPT-4s langsommelighed, begyndende med en større kontekststørrelse. Inden for GPT-økosystemet refererer kontekststørrelse til, hvor meget information en given chatbotversion kan behandle og derefter producere information. Mens GPT-3.5's kontekststørrelse var 4K, er GPT-4's det dobbelte. Så at have en 8K kontekststørrelse kan have en indflydelse på GPT-4's overordnede hastigheder.

Reddit-forfatteren foreslog også, at den forbedrede styring og kontrol af GPT-4 kunne spille en rolle i chatbottens behandlingstider. Her udtalte forfatteren, at GPT-4's større styrbarhed og kontrol over hallucinationer og upassende sprog kan være synderne, da disse funktioner tilføjer ekstra trin til GPT-4's behandlingsmetode Information.

Desuden blev det foreslået, at GPT-4's evne til at behandle billeder kunne bremse tingene. Denne nyttige funktion er elsket af mange, men kan komme med en fangst. I betragtning af, at det har været rygter, at GPT-4 tager 10-20 sekunder at behandle et givet billede, er der en chance for, at denne komponent forlænger svartider (selvom dette ikke forklarer de forsinkelser, som brugere oplever, kun ved at levere tekstmeddelelser).

Andre brugere har foreslået, at det nye med ChatGPT-4 spiller en stor rolle i disse forsinkelser. Nogle mener med andre ord, at OpenAIs nyeste chatbot skal opleve nogle vokseværk, før alle fejl kan udbedres.

Men den største grund til, at GPT-4 er langsom, er antallet af parametre, GPT-4 kan kalde på kontra GPT-3.5. Det fænomenal stigning i parametre betyder ganske enkelt, at det tager den nyere GPT-model længere tid at behandle information og reagere præcist. Du får bedre svar med øget kompleksitet, men det tager lidt længere tid at komme dertil.

Skal du vælge GPT-3.5 frem for GPT-4?

Så med disse problemer i tankerne, bør du bruge GPT-3.5 eller GPT-4?

I skrivende stund ser det ud til, at GPT-3.5 er den smartere mulighed frem for GPT-4. Så mange brugere har oplevet forsinkelser, at det er sandsynligt, at tidsproblemet er til stede overalt, ikke kun hos nogle få personer. Så hvis ChatGPT-3.5 i øjeblikket lever op til alle dine forventninger, og du ikke ønsker at vente på et svar i bytte for ekstra funktioner, kan det være klogt at holde sig til denne version indtil videre.

Du skal dog bemærke, at GPT-4 ikke kun er GPT-3.5, men langsommere. Denne version af OpenAIs chatbot har adskillige fordele i forhold til sin forgænger. Hvis du leder efter en mere avanceret AI-chatbot og ikke har noget imod at vente længere på svar, kan det være værd at skifte fra GPT-3.5 til GPT-4.

Over tid kan GPT-4's forsinkelser blive mindsket eller helt løst, så tålmodighed kan være en dyd her. Uanset om du prøver at skifte til GPT-4 nu eller venter lidt længere for at se, hvordan tingene forløber med denne version, kan du stadig få meget ud af OpenAIs smarte lille chatbot.

GPT-4 er mere avanceret, men kommer med en forsinkelse

Mens GPT-4 har adskillige avancerede funktioner i forhold til GPT-3.5, har dens betydelige forsinkelser og svarfejl gjort den ubrugelig for nogle. Disse problemer kan blive løst i den nærmeste fremtid, men indtil videre har GPT-4 helt sikkert nogle forhindringer at overvinde, før det accepteres i bredere skala.