ChatGPT er OpenAIs skiftende AI-chatbot, der holder internettet forbløffet. Mod alle etablerede teknologiske tendenser har det ikke taget lang tid for ChatGPT at finde vej til næsten alle områder af vores digitale liv.
Meget få teknologiske innovationer har fået så meget interesse, som ChatGPT har opnået på så kort tid. Det ser aldrig ud til at løbe tør for seje tricks – hver dag lærer vi om spændende nye ting, som vi ikke vidste, den kunne.
Men hvordan er ChatGPT i stand til at gøre de ting, den kan? Hvordan fungerer ChatGPT?
Hvordan blev ChatGPT bygget?
For at forstå, hvordan ChatGPT fungerer, er det værd at se på dets oprindelse og hjernen bag den banebrydende AI-chatbot.
For det første, så magisk som ChatGPT kan virke, blev det bygget af menneskers geni, ligesom enhver værdifuld softwareteknologi derude. OpenAI skabte ChatGPT, det revolutionerende AI-forsknings- og udviklingsselskab bag andre kraftfulde AI-værktøjer som DALL-E, InstructGPT og Codex. Vi har tidligere svaret
nogle spørgsmål, du måtte have om ChatGPT, så tag et kig.Mens ChatGPT gik viralt mod slutningen af 2022, har det meste af den underliggende teknologi, der driver ChatGPT, eksisteret i meget længere tid, dog med meget mindre omtale. ChatGPT-modellen er bygget oven på GPT-3 (eller mere specifikt GPT-3.5). GPT står for "Generative Pre-trained Transformer 3."
GPT-3 er den tredje iteration af GPT-serien af AI-modeller og blev indledt af GPT-2 og GPT. Tidligere iterationer af GPT-modellerne er lige så nyttige, men GPT-3 og den finjusterede GPT-3.5 iteration er meget mere kraftfulde. Det meste af hvad ChatGPT kan skyldes den underliggende GPT-3 teknologi.
Hvad er GPT?
Så vi har fastslået, at ChatGPT er bygget på tredje generation af GPT-modellen. Men hvad er GPT alligevel?
Lad os starte med at pakke akronymerne ud på en letfordøjelig og ikke-teknisk måde.
- "Generativ" i GPT repræsenterer dens evne til at generere tekst på naturligt menneskeligt sprog.
- "Pre-trained" repræsenterer det faktum, at modellen allerede er blevet trænet på et begrænset datasæt. Ligesom du ville læse en bog eller måske flere bøger, før du bliver bedt om at svare på spørgsmål om den.
- "Transformeren" repræsenterer den underliggende maskinlæringsarkitektur, der driver GPT.
Når man nu sætter det hele sammen, er Generative Pre-trained Transformer (GPT) en sprogmodel, der har været trænet ved at bruge data fra internettet med det formål at generere tekst på et menneskeligt sprog, når det præsenteres med en hurtig. Så vi har gentagne gange sagt, at GPT blev trænet, men hvordan blev det trænet?
Hvordan blev ChatGPT trænet?
ChatGPT selv blev ikke trænet fra bunden. I stedet er det en finjusteret version af GPT-3.5, som i sig selv er en finjusteret version af GPT-3. GPT-3-modellen blev trænet med en enorm mængde data indsamlet fra internettet. Tænk på Wikipedia, Twitter og Reddit - det blev fodret med data og menneskelig tekst skrabet fra alle hjørner af internettet.
Hvis du undrer dig over, hvordan GPT-træning fungerer, blev GPT-3 trænet ved hjælp af en kombination af overvåget læring og forstærkningslæring gennem menneskelig feedback (RLHF). Superviseret læring er det stadie, hvor modellen trænes på et stort datasæt af tekst skrabet fra internettet. Forstærkningsindlæringsstadiet er, hvor det trænes til at producere bedre svar, der stemmer overens med, hvad mennesker ville acceptere som værende både menneskelignende og korrekte.
Træning med overvåget læring
For bedre at forstå, hvordan overvåget og forstærkende læring gælder for ChatGPT, forestil dig et scenarie, hvor en elev bliver undervist i at skrive et essay af en lærer. Overvåget læring ville svare til, at læreren giver eleven hundredvis af essays at læse. Målet her er, at eleven lærer, hvordan et essay skal skrives, ved at vænne sig til tonen, ordforrådet og strukturen i hundredvis af essays.
Men der vil være gode og dårlige blandt de hundredvis af essays. Da eleven blev trænet i både gode og dårlige kopier, kunne eleven nogle gange skrive et dårligt essay, fordi eleven også blev fodret med dårlige essays på et tidspunkt. Det betyder, at eleven, når den bliver bedt om at skrive et essay, kan skrive en kopi, der ikke er acceptabel eller god nok for læreren. Det er her forstærkende læring kommer ind.
Træning med forstærkningslæring
Når læreren har fastslået, at eleven forstår de generelle regler for essayskrivning ved at læse hundredvis af essays, vil læreren derefter give eleven hyppige essayskrivning lektier. Efterfølgende ville læreren give feedback på essayet med at skrive lektier og fortælle eleverne, hvad de gjorde godt, og hvad de kunne forbedre. Eleven bruger feedbacken til at guide efterfølgende essayskrivning af hjemmearbejde, og hjælper eleven med at forbedre sig over tid.
Dette svarer til forstærkningsindlæringsfasen ved træning af GPT-modellen. Efter at være blevet fodret med en enorm mængde tekst skrabet fra internettet, kan modellen svare på spørgsmål. Dens nøjagtighed vil dog ikke være god nok. Menneskelige trænere stiller modellen et spørgsmål og giver feedback om, hvilket svar der er mere passende for hvert spørgsmål.
Modellen bruger feedback til at forbedre sin evne til at besvare spørgsmål mere præcist og mere som hvordan et menneske ville reagere. Sådan kan ChatGPT generere menneskelignende svar, der er både sammenhængende, engagerende og generelt nøjagtige.
Hvordan er ChatGPT i stand til at besvare spørgsmål?
Så du besøger ChatGPT-webstedet og logger ind. Du beder ChatGPT: "skriv en rapsang i stil med Snoop Dogg." Den reagerer med tekster til en rapsang, der ligner påfaldende det, Snoop Dogg ville skrive. Hvordan er det muligt?
Nå, "magien" bag ChatGPT hænger fint sammen med dens træning.
Efter at have dækket hver tomme af din Physics 101-lærebog, er der en god chance for, at du vil være i stand til at svare på ethvert spørgsmål fra den, der bliver stillet til dig. Hvorfor? For du har læst det, og du har lært det. Det er det samme med ChatGPT – det lærer. Og som den menneskelige civilisation har vist, med tilstrækkelig træning, er det muligt at løse næsten ethvert problem.
Selvom du sandsynligvis kan administrere hundredvis af bøger i din levetid, har ChatGPT eller GPT allerede forbrugt en stor del af internettet. Det er et enormt væld af information. Derinde, et eller andet sted, er der sandsynligvis tekster til Snoop Doggs talrige sange. Så selvfølgelig skal ChatGPT have forbrugt det (husk, det er fortrænet) og genkendt mønstre i Snoop Doggs tekster. Den ville derefter bruge en "viden" om dette mønster til at "forudsige" tekster til en sang, der ligner det, Snoop Dogg ville skrive.
Vægten her er på "forudsige". ChatGPT besvarer ikke spørgsmål på samme måde, som vi gør som mennesker. For eksempel, når man står over for et spørgsmål som "Hvad er hovedstaden i Portugal?" du kunne sige Lissabon og sige det for en "kendsgerning". ChatGPT besvarer dog ikke spørgsmål med 100 % sikkerhed. I stedet forsøger den at forudsige det rigtige svar givet de data, den har forbrugt i sit træningsdatasæt.
ChatGPTs tilgang til besvarelse af spørgsmål
For bedre at forstå konceptet med at forudsige svar, forestil dig, at ChatGPT er en detektiv, der har til opgave at løse et mord. Detektiven bliver præsenteret for beviser, men de ved ikke, hvem der begik mordet, og hvordan det skete. Men med nok beviser kan detektiven "forudsige" med stor nøjagtighed, hvem der er ansvarlig for mordet, og hvordan forbrydelsen blev begået.
Efter at have forbrugt data fra internettet, kasserer ChatGPT de originale data og gemmer neurale forbindelser eller mønstre, som den har lært fra dataene. Disse forbindelser eller mønstre er som beviser, som ChatGPT analyserer, når det forsøger at reagere på en prompt.
Så i teorien er ChatGPT som en meget god detektiv. Den ved ikke med sikkerhed, hvad fakta i et svar skal være, men den forsøger, med imponerende nøjagtighed, for at forudsige en logisk sekvens af menneskesproget tekst, der mest passende ville svare på spørgsmål. Sådan får du svar på dine spørgsmål.
Og det er også grunden til, at nogle af disse svar ser meget overbevisende ud, men er frygtelig forkerte.
ChatGPT: Svarer som et menneske, tænker som en maskine
De underliggende tekniske detaljer i ChatGPT er komplekse. Men fra et rudimentært synspunkt virker det ved at lære og gengive, hvad det har lært, når det bliver bedt om det, ligesom vi gør som mennesker.
Efterhånden som ChatGPT udvikler sig gennem forskning, kan den måde, det fungerer på, ændre sig. Dens grundlæggende arbejdsprincipper vil dog forblive de samme i et stykke tid, i det mindste indtil der kommer en forstyrrende ny teknologi.
