Store sprogmodeller (LLM'er) er den underliggende teknologi, der har drevet den hastige fremgang af generative AI-chatbots. Værktøjer som ChatGPT, Google Bard og Bing Chat er alle afhængige af LLM'er til at generere menneskelignende svar på dine forespørgsler og spørgsmål.

Men hvad er LLM'er, og hvordan fungerer de? Her satte vi os for at afmystificere LLM'er.

Hvad er en stor sprogmodel?

I sine enkleste termer er en LLM en massiv database med tekstdata, der kan refereres til for at generere menneskelignende svar på dine prompter. Teksten kommer fra en række kilder og kan beløbe sig til milliarder af ord.

Blandt almindelige anvendte kilder til tekstdata er:

  • Litteratur: LLM'er indeholder ofte enorme mængder af nutidig og klassisk litteratur. Dette kan omfatte bøger, poesi og skuespil.
  • Online indhold: En LLM vil oftest indeholde et stort lager af onlineindhold, herunder blogs, webindhold, forumspørgsmål og -svar og anden onlinetekst.
  • Nyheder og aktuelle sager: Nogle, men ikke alle, LLM'er kan få adgang til aktuelle nyhedsemner. Visse LLM'er, såsom GPT-3.5, er begrænset i denne forstand.
    • instagram viewer
  • Sociale medier: Sociale medier repræsenterer en enorm ressource af naturligt sprog. LLM'er bruger tekst fra store platforme som Facebook, Twitter og Instagram.

Selvfølgelig er det én ting at have en enorm database med tekst, men LLM'er skal trænes til at give mening ud af det for at producere menneskelignende svar. Hvordan det gør dette er, hvad vi dækker næste gang.

Hvordan fungerer LLM'er?

Hvordan bruger LLM'er disse arkiver til at oprette deres svar? Det første trin er at analysere dataene ved hjælp af en proces kaldet deep learning.

Deep learning bruges til at identificere mønstre og nuancer i det menneskelige sprog. Dette inkluderer at få en forståelse af grammatik og syntaks. Men vigtigst af alt inkluderer det også kontekst. Forståelse af kontekst er en afgørende del af LLM'er.

Lad os se på et eksempel på, hvordan LLM'er kan bruge kontekst.

Prompten i det følgende billede nævner at se en flagermus om natten. Ud fra dette forstod ChatGPT, at vi talte om et dyr og ikke for eksempel et baseballbat. Selvfølgelig kan andre chatbots lide Bing Chat eller Google Bard kan svare helt anderledes på dette.

Det er dog ikke ufejlbarligt, og som dette eksempel viser, bliver du nogle gange nødt til at levere yderligere information for at få det ønskede svar.

I dette tilfælde kastede vi bevidst lidt af en kurvebold for at demonstrere, hvor let kontekst går tabt. Men mennesker kan også misforstå konteksten af ​​spørgsmål, og det behøver kun en ekstra opfordring til at rette svaret.

For at generere disse svar bruger LLM'er en teknik kaldet natural language generation (NLG). Dette indebærer at undersøge inputtet og bruge mønstrene lært fra dets datalager til at generere et kontekstuelt korrekt og relevant svar.

Men LLM'er går dybere end dette. De kan også skræddersy svarene, så de passer til den følelsesmæssige tone i inputtet. Når de kombineres med kontekstuel forståelse, er de to facetter de vigtigste drivkræfter, der gør det muligt for LLM'er at skabe menneskelignende svar.

For at opsummere bruger LLM'er en massiv tekstdatabase med en kombination af dyb læring og NLG-teknikker til at skabe menneskelignende svar på dine prompter. Men der er begrænsninger for, hvad dette kan opnå.

Hvad er begrænsningerne for LLM'er?

LLM'er repræsenterer en imponerende teknologisk præstation. Men teknologien er langt fra perfekt, og der er stadig masser af begrænsninger for, hvad de kan opnå. Nogle af de mere bemærkelsesværdige af disse er anført nedenfor:

  1. Kontekstuel forståelse: Vi nævnte dette som noget, LLM'er inkorporerer i deres svar. Men de får det ikke altid rigtigt og er ofte ude af stand til at forstå sammenhængen, hvilket fører til upassende eller simpelthen forkerte svar.
  2. Partiskhed: Eventuelle skævheder i træningsdataene kan ofte være til stede i svarene. Dette inkluderer skævheder over for køn, race, geografi og kultur.
  3. Sund fornuft: Sund fornuft er svær at kvantificere, men mennesker lærer dette fra en tidlig alder ved blot at se verden omkring dem. LLM'er har ikke denne iboende erfaring at falde tilbage på. De forstår kun, hvad der er blevet leveret til dem gennem deres træningsdata, og det giver dem ikke en sand forståelse af den verden, de eksisterer i.
  4. En LLM er kun så god som dens træningsdata: Nøjagtighed kan aldrig garanteres. Det gamle computerordsprog om "Garbage In, Garbage Out" opsummerer denne begrænsning perfekt. LLM'er er kun så gode, som kvaliteten og kvantiteten af ​​deres træningsdata tillader dem at være.

Der er også et argument for, at etiske bekymringer kan betragtes som en begrænsning af LLM'er, men dette emne falder uden for rammerne af denne artikel.

3 eksempler på populære LLM'er

Den fortsatte fremgang af AI er nu i vid udstrækning understøttet af LLM'er. Så selvom de ikke ligefrem er en ny teknologi, har de bestemt nået et kritisk momentum, og der er nu mange modeller.

Her er nogle af de mest udbredte LLM'er.

1. GPT

Generative Pre-trained Transformer (GPT) er måske den mest kendte LLM. GPT-3.5 driver ChatGPT-platformen, der bruges til eksemplerne i denne artikel, mens den nyeste version, GPT-4, er tilgængelig gennem et ChatGPT Plus-abonnement. Microsoft bruger også den nyeste version i sin Bing Chat-platform.

2. LaMDA

Dette er den første LLM, der bruges af Google Bard, Googles AI-chatbot. Den version, Bard oprindeligt blev rullet ud med, blev beskrevet som en "lite" version af LLM. Den mere kraftfulde PaLM iteration af LLM afløste dette.

3. BERT

BERT står for Bi-directional Encoder Representation fra Transformers. Modellens tovejsegenskaber adskiller sig BERT fra andre LLM'er som GPT.

Der er udviklet mange flere LLM'er, og udløbere er almindelige fra de store LLM'er. Efterhånden som de udvikler sig, vil disse fortsætte med at vokse i kompleksitet, nøjagtighed og relevans. Men hvad bringer fremtiden for LLM'er?

LLM'ers fremtid

Disse vil uden tvivl forme den måde, vi interagerer med teknologi i fremtiden. Den hurtige optagelse af modeller som ChatGPT og Bing Chat er et vidnesbyrd om dette faktum. På kort sigt, AI vil næppe erstatte dig på arbejdet. Men der er stadig usikkerhed om, hvor stor en rolle de vil spille i vores liv i fremtiden.

Etiske argumenter kan endnu have indflydelse på, hvordan vi integrerer disse værktøjer i samfundet. Men når man lægger dette til side, inkluderer nogle af de forventede LLM-udviklinger:

  1. Forbedret effektivitet:Med LLM'er med hundredvis af millioner af parametre er de utroligt ressourcesultne. Med forbedringer i hardware og algoritmer vil de sandsynligvis blive mere energieffektive. Dette vil også gøre svartider hurtigere.
  2. Forbedret kontekstbevidsthed:LLM'er er selvtræning; jo mere brug og feedback de får, jo bedre bliver de. Det er vigtigt, at dette er uden yderligere større ingeniørarbejde. Efterhånden som teknologien skrider frem, vil dette se forbedringer i sproglige evner og kontekstuel bevidsthed.
  3. Uddannet til specifikke opgaver: Jack-of-all-trade-værktøjerne, der er LLM'ers offentlige ansigt, er tilbøjelige til at fejle. Men efterhånden som de udvikler sig, og brugerne træner dem til specifikke behov, kan LLM'er spille en stor rolle inden for områder som medicin, jura, finans og uddannelse.
  4. Større integration: LLM'er kunne blive personlige digitale assistenter. Tænk på Siri på steroider, og du forstår ideen. LLM'er kan blive virtuelle assistenter, der hjælper dig med alt fra at foreslå måltider til at håndtere din korrespondance.

Dette er blot nogle få af de områder, hvor LLM'er sandsynligvis vil blive en større del af den måde, vi lever på.

LLM'er transformerer og uddanner

LLM'er åbner op for en spændende verden af ​​muligheder. Den hurtige stigning af chatbots som ChatGPT, Bing Chat og Google Bard er bevis på, at ressourcerne bliver hældt ind i feltet.

En sådan spredning af ressourcer kan kun se disse værktøjer blive mere kraftfulde, alsidige og nøjagtige. De potentielle anvendelser af sådanne værktøjer er enorme, og i øjeblikket ridser vi kun i overfladen af ​​en utrolig ny ressource.