Mens OpenAI leder vejen for generativ AI-udvikling, har mange beskyldt Google for at halte bagud. Men for ikke at blive overgået lancerede Google en ny stor sprogmodel, PaLM 2, på sin Google I/O-konference i 2023.
Googles nye LLM, der kommer i fire forskellige størrelser til en række applikationer, driver tilsyneladende allerede flere Google-tjenester, med meget mere på vej.
Hvad er PaLM 2?
Ved Google I/O 2023, afholdt den 10. maj, afslørede Googles administrerende direktør Sunda Pichai Googles seneste legetøj: PALM 2.
Kort for Pathways Language Model 2, Googles opgraderede LLM er den anden iteration af PaLM, med den første version lanceret tilbage i april 2022. Kan du ikke huske PaLM? Nå, på det tidspunkt var det store nyheder og modtog masser af interesse for sin evne til at konversere lidt, fortælle grundlæggende vittigheder og så videre. Spol frem seks måneder, og OpenAI's GPT-3.5 blæste alt ud af vandet, herunder PaLM.
Siden da, OpenAI lancerede GPT-4, en massiv opgradering på GPT-3.5. Mens den nyere model bliver integreret i adskillige værktøjer, især Microsofts Bing AI Chat, tager Google sigte på OpenAI og GPT-4 med PaLM 2 og vil håbe, at dets opgraderede LLM kan lukke, hvad der så ud til at være et betydeligt hul - Google Bard-lanceringen var næppe en brølende succes.
Pichai annoncerede, at PaLM 2 kommer i fire forskellige modelstørrelser: Gecko, Otter, Bison og Unicorn.
Gecko er så let, at den kan arbejde på mobile enheder og er hurtig nok til fantastiske interaktive applikationer på enheden, selv når den er offline. Denne alsidighed betyder, at PaLM 2 kan finjusteres til at understøtte hele produktklasser på flere måder for at hjælpe flere mennesker.
Med Gecko i stand til at behandle omkring 20 tokens i sekundet - tokens er de værdier, der tildeles rigtige ord til brug af generative AI-modeller - ser det ud til at blive en game-changer for mobile implementerbare AI-værktøjer.
PaLM 2 Træningsdata
Google var ikke ligefrem fremme med PaLM 2's træningsdata, forståeligt, da det lige er blevet frigivet. Men Googles PaLM 2 Rapport [PDF] sagde, at den ønskede, at PaLM 2 skulle have en dybere forståelse af matematik, logik og naturvidenskab, og at en stor del af dets træningskorpus fokuserede på disse emner.
Alligevel er det værd at bemærke, at PaLM ikke var noget sløjt. Hvornår Google afslørede PaLM, bekræftede den, at den var trænet på 540 milliarder parametre, hvilket på det tidspunkt var et kolossalt tal.
OpenAI's GPT-4 påstås at bruge over en trillion parametre, med nogle spekulationer, der sætter det tal så højt som 1,7 billioner. Det er et sikkert bud, at da Google ønsker, at PaLM 2 skal konkurrere direkte med OpenAI's LLM'er, vil den i det mindste have et sammenligneligt tal, hvis ikke mere.
Et andet væsentligt løft til PaLM 2 er dets sprogtræningsdata. Google har trænet PaLM 2 i over 100 sprog for at give den større dybde og kontekstuel forståelse og øge dens oversættelseskapacitet.
Men det er ikke kun talesprog. I forbindelse med Googles krav om PaLM 2 for at levere bedre videnskabelige og matematiske ræsonnementer har LLM også blevet trænet i mere end 20 programmeringssprog, hvilket gør det til et fænomenalt aktiv for programmører.
PaLM 2 driver allerede Google-tjenester – men kræver stadig finjustering
Det varer ikke længe, før vi kan få fingrene i PaLM 2 og se, hvad den kan. Med lidt held vil lanceringen af alle PaLM 2-applikationer og -tjenester være bedre end Bard.
Men du har måske (teknisk!) brugt PaLM 2 allerede. Google bekræftede, at PaLM 2 allerede er implementeret og i brug på tværs af 25 af dets produkter, inklusive Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets og mere.
Men PaLM 2-rapporten afslører også, at der stadig er arbejde at gøre, specifikt mod giftige reaktioner på tværs af en række sprog.
For eksempel, når der gives specifikt toksiske prompter, genererer PaLM 2 toksiske reaktioner mere end 30 procent af tiden. Ydermere, på specifikke sprog - engelsk, tysk og portugisisk - leverede PaLM 2 mere giftige reaktioner end 17 procent af tiden, med tilskyndelser, herunder raceidentiteter og religioner, der skubber til dette tal højere.
Uanset hvor meget forskere forsøger at rense LLM-træningsdata, er det uundgåeligt, at nogle slipper igennem. Den næste fase er at fortsætte med at træne PaLM 2 for at reducere disse toksiske reaktioner.
Det er en boomperiode for store sprogmodeller
OpenAI var ikke den første til at lancere en stor sprogmodel, men dens GPT-3-, GPT-3.5- og GPT-4-modeller tændte utvivlsomt det blå touchpaper på generativ AI.
Googles PaLM 2 har nogle problemer, der skal løses, men at den allerede er i brug i flere Google-tjenester viser den tillid, virksomheden har til sin seneste LLM.