GPT er ikke den eneste sprogbehandlingsmodel i byen.
AI-værktøjer som ChatGPT er blevet utroligt populære, siden de blev udgivet. Sådanne værktøjer flytter grænserne for naturlig sprogbehandling (NLP), hvilket gør det lettere for AI at holde samtaler og behandle sprog ligesom en faktisk person.
Som du måske ved, er ChatGPT afhængig af den Generative Pre-trained Transformer model (GPT). Det er dog ikke den eneste fortrænede model derude.
I 2018 udviklede ingeniørerne hos Google BERT (Bidirectional Encoder Representation from Transformers), en foruddannet, dyb læringsmodel designet til at forstå konteksten af ord i en sætning, så den kan udføre opgaver såsom sentimentanalyse, besvarelse af spørgsmål og navngivne enhedsgenkendelse med høj nøjagtighed.
Hvad er BERT?
BERT er en dyb læringsmodel udviklet af Google AI Research der bruger uovervåget læring til at forstå naturlige sprogforespørgsler bedre. Modellen bruger en transformerarkitektur til at lære tovejsrepræsentationer af tekstdata, hvilket giver den mulighed for bedre at forstå konteksten af ord i en sætning eller et afsnit.
Dette gør det nemmere for maskiner at fortolke det menneskelige sprog, som det tales i hverdagen. Det er vigtigt at nævne, at computere historisk set har haft svært ved at behandle sprog, især at forstå konteksten.
I modsætning til andre sprogbehandlingsmodeller er BERT uddannet til at udføre mere end 11 almindelige NLP-opgaver, hvilket gør det til et ekstremt populært valg i maskinlæringskredse.
Sammenlignet med andre populære transformermodeller som GPT-3, har BERT en klar fordel: den er tovejsbestemt og er som sådan i stand til at evaluere kontekst fra venstre mod højre og højre mod venstre. GPT-3.5 og GPT-4 tager kun hensyn til venstre mod højre sammenhæng, mens BERT henvender sig til begge.
Sprogmodeller som GPT bruger ensrettet kontekst til at træne modellen, hvilket tillader ChatGPT til at udføre flere opgaver. Enkelt sagt analyserede disse modeller konteksten af tekstinput fra venstre mod højre eller, i nogle tilfælde, fra højre mod venstre. Denne ensrettede tilgang har dog begrænsninger, når det kommer til tekstforståelse, hvilket forårsager unøjagtigheder i genererede output.
I bund og grund betyder det, at BERT analyserer en sætnings fulde kontekst, før den giver et svar. Det er dog relevant at nævne, at GPT-3 blev trænet på et betydeligt større korpus af tekst (45TB) sammenlignet med BERT (3TB).
BERT er en maskeret sprogmodel
En vigtig ting at vide her er, at BERT er afhængig af maskering for at forstå konteksten af en sætning. Når en sætning behandles, fjerner den dele af den og er afhængig af modellen til at forudsige og udfylde hullerne.
Dette tillader det i det væsentlige at "forudsige" konteksten. I sætninger, hvor ét ord kan have to forskellige betydninger, giver dette maskerede sprogmodeller en klar fordel.
Hvordan virker BERT?
BERT blev trænet på et datasæt på over 3,3 milliarder ord (i henhold til Wikipedia for op til 2,5 milliarder ord) og BooksCorpus fra Google for 800 millioner ord.
BERTs unikke tovejskontekst muliggør samtidig behandling af tekst fra venstre mod højre og omvendt. Denne innovation forbedrer modellens forståelse af det menneskelige sprog, så den kan forstå komplekse forhold mellem ord og deres kontekst.
Tovejselementet har positioneret BERT som en revolutionerende transformermodel, der driver bemærkelsesværdige forbedringer i NLP-opgaver. Endnu vigtigere, det hjælper også med at skitsere den rene dygtighed af værktøjer, der bruges kunstig intelligens (AI) at bearbejde sproget.
BERT's effektivitet er ikke kun på grund af dens tovejsevne, men også på grund af, hvordan den blev fortrænet. BERT's fortræningsfase omfattede to væsentlige trin, nemlig maskeret sprogmodel (MLM) og forudsigelse af næste sætning (NSP).
Mens de fleste præ-træningsmetoder maskerer individuelle sekvenselementer, bruger BERT MLM til tilfældigt at maskere en procentdel af input-tokens i en sætning under træning. Denne tilgang tvinger modellen til at forudsige de manglende ord under hensyntagen til konteksten fra begge sider af det maskerede ord - deraf todirektionaliteten.
Så under NSP lærer BERT at forudsige, om sætning X virkelig følger ind i sætning Y. Denne evne træner modellen til at forstå sætningsforhold og overordnet kontekst, hvilket igen bidrager til modellens effektivitet.
Finjustering af BERT
Efter fortræning gik BERT videre til en finjusteringsfase, hvor modellen blev tilpasset til forskellige NLP-opgaver, herunder sentimentanalyse, navngivne entitetsgenkendelse og systemer til besvarelse af spørgsmål. Finjustering involverer overvåget læring, udnyttelse af mærkede datasæt til at forbedre modellens ydeevne til specifikke opgaver.
BERTs træningstilgang betragtes som "universel", fordi den tillader den samme modelarkitektur at tackle forskellige opgaver uden behov for omfattende ændringer. Denne alsidighed er endnu en grund til BERTs popularitet blandt NLP-entusiaster.
For eksempel bruges BERT af Google til at forudsige søgeforespørgsler og til at tilføje manglende ord, især med hensyn til kontekst.
Hvad bruges BERT almindeligvis til?
Mens Google bruger BERT i sin søgemaskine, har den flere andre applikationer:
Følelsesanalyse
Følelsesanalyse er en kerneanvendelse af NLP, der beskæftiger sig med klassificering af tekstdata baseret på de følelser og meninger, der er indlejret i dem. Dette er afgørende på mange områder, fra overvågning af kundetilfredshed til forudsigelse af aktiemarkedstendenser.
BERT skinner i dette domæne, da det fanger den følelsesmæssige essens af tekstinput og præcist forudsiger følelsen bag ordene.
Tekstopsummering
På grund af dens tovejsnatur og opmærksomhedsmekanismer kan BERT forstå hver eneste tøddel af tekstlig kontekst uden at miste væsentlig information. Resultatet er sammenhængende oversigter af høj kvalitet, der nøjagtigt afspejler inputdokumenternes væsentlige indhold.
Navngivet enhedsgenkendelse
Genkendelse af navngivne enheder (NER) er et andet vigtigt aspekt af NLP, der sigter mod at identificere og kategorisere enheder som navne, organisationer og lokationer i tekstdata.
BERT er virkelig transformerende i NER-rummet, primært på grund af dets evne til at genkende og klassificere komplekse entitetsmønstre – selv når de præsenteres i indviklede tekststrukturer.
Spørgsmålsbesvarelsessystemer
BERTs kontekstuelle forståelse og jordforbindelse i tovejskodere gør den dygtig til at udtrække nøjagtige svar fra store datasæt.
Det kan effektivt bestemme konteksten af et spørgsmål og finde det bedst egnede svar i teksten data, en funktion, der kan udnyttes til avancerede chatbots, søgemaskiner og endda virtuelle assistenter.
Maskinoversættelse via BERT
Maskinoversættelse er en væsentlig NLP-opgave, som BERT har forbedret. Transformatorarkitekturen og den tovejsforståelse af kontekst bidrager til at bryde barriererne ved at oversætte fra et sprog til et andet.
Selvom BERT primært fokuserer på engelsk, kan BERTs flersprogede varianter (mBERT) anvendes på maskinen oversættelsesproblemer for adskillige sprog, hvilket åbner døre til mere inkluderende platforme og kommunikation medier.
AI og Machine Learning fortsætter med at flytte nye grænser
Der er næppe tvivl om, at modeller som BERT ændrer spillet og åbner nye forskningsmuligheder. Men endnu vigtigere, sådanne værktøjer kan nemt integreres i eksisterende arbejdsgange.
