At bruge en lokal stor sprogmodel er ikke for alle, men der er nogle gode grunde til, at du måske vil prøve.
Nøgle takeaways
- Mindre censur: Lokale LLM'er giver frihed til at diskutere tankevækkende emner uden de begrænsninger, der er pålagt offentlige chatbots, hvilket giver mulighed for mere åbne samtaler.
- Bedre databeskyttelse: Ved at bruge en lokal LLM forbliver alle de genererede data på din computer, hvilket sikrer privatlivets fred og forhindrer adgang fra virksomheder, der kører offentligt vendte LLM'er.
- Offlinebrug: Lokale LLM'er giver mulighed for uafbrudt brug i fjerntliggende eller isolerede områder uden pålidelig internetadgang, hvilket giver et værdifuldt værktøj i sådanne scenarier.
Siden ankomsten af ChatGPT i november 2022 er begrebet stor sprogmodel (LLM) hurtigt skiftet fra en nichebetegnelse for AI-nørder til et buzzword på alles læber. Den største tiltrækning ved en lokal LLM er evnen til at kopiere evnerne hos en chatbot som ChatGPT på din computer uden bagagen fra en cloud-hostet version.
Der eksisterer argumenter for og imod at oprette en lokal LLM på din computer. Vi afbryder hypen og bringer dig fakta. Skal du bruge en lokal LLM?
Fordelene ved at bruge lokale LLM'er
Hvorfor er folk så hypede over at oprette deres eget store sprogmodeller på deres computere? Ud over hypen og praleriet, hvad er nogle praktiske fordele?
1. Mindre censur
Da ChatGPT og Bing AI først kom online, var de ting, begge chatbots var villige til at sige og gøre, lige så fascinerende, som de var alarmerende. Bing AI opførte sig varmt og dejligt, som om det havde følelser. ChatGPT var villig til at bruge bandeord, hvis du spurgte pænt. På det tidspunkt ville begge chatbots endda hjælpe dig med at lave en bombe, hvis du brugte de rigtige prompter. Dette lyder måske som alle afskygninger af forkert, men at kunne gøre hvad som helst var et symbol på de ubegrænsede muligheder i de sprogmodeller, der drev dem.
I dag begge dele chatbots er blevet så stramt censureret at de ikke engang vil hjælpe dig med at skrive en fiktiv krimi med voldelige scener. Nogle AI-chatbots vil ikke engang tale om religion eller politik. Selvom LLM'er, du kan oprette lokalt, ikke er helt censurfrie, vil mange af dem med glæde gøre de tankevækkende ting, som de offentligt vendte chatbots ikke vil gøre. Så hvis du ikke vil have en robot, der forelæser dig om moral, når du diskuterer emner af personlig interesse, kan det at drive en lokal LLM være vejen at gå.
2. Bedre databeskyttelse
En af de primære grunde til, at folk vælger en lokal LLM, er at sikre, at alt, hvad der sker på deres computer, forbliver på deres computer. Når du bruger en lokal LLM, er det som at have en samtale privat i din stue – ingen udenfor kan lytte med. Uanset om du eksperimenterer med dine kreditkortoplysninger eller har følsomme personlige samtaler med LLM, gemmes alle de resulterende data kun på din computer. Alternativet er at bruge offentligt vendte LLM'er som GPT-4, som giver de ansvarlige virksomheder adgang til dine chatoplysninger.
3. Offline brug
Da internettet er meget overkommeligt og tilgængeligt, kan offlineadgang virke som en triviel grund til at bruge en lokal LLM. Offlineadgang kan blive særligt kritisk på fjerntliggende eller isolerede steder, hvor internettjenesten er upålidelig eller utilgængelig. I sådanne scenarier bliver en lokal LLM, der opererer uafhængigt af en internetforbindelse, et vigtigt værktøj. Det giver dig mulighed for at fortsætte med at gøre, hvad du vil uden afbrydelser.
4. Omkostningsbesparelser
Den gennemsnitlige pris for at få adgang til en kompetent LLM som GPT-4 eller Claude 2 er $20 pr. måned. Selvom det måske ikke virker som en alarmerende pris, får du stadig flere irriterende begrænsninger for det beløb. For eksempel, med GPT-4, tilgået via ChatGPT, sidder du fast med en 50-besked per tre-timers grænse. Du kan kun komme forbi disse grænser skifte til ChatGPT Enterprise-planen, hvilket potentielt kan koste tusindvis af dollars. Med en lokal LLM, når du har konfigureret softwaren, er der ingen $20 månedligt abonnement eller tilbagevendende omkostninger at betale. Det er som at købe en bil i stedet for at stole på samkørselstjenester. I starten er det dyrt, men med tiden sparer du penge.
5. Bedre tilpasning
Offentligt tilgængelige AI-chatbots har begrænset tilpasning på grund af sikkerheds- og censurproblemer. Med en lokalt hostet AI-assistent kan du fuldt ud tilpasse modellen til dine specifikke behov. Du kan træne assistenten i proprietære data, der er skræddersyet til dine brugssager, hvilket forbedrer relevans og nøjagtighed. For eksempel kunne en advokat optimere deres lokale AI for at generere mere præcis juridisk indsigt. Den vigtigste fordel er kontrol over tilpasning til dine unikke krav.
Ulemper ved at bruge lokale LLM'er
Før du skifter, er der nogle ulemper ved at bruge en lokal LLM, du bør overveje.
1. Ressourcekrævende
For at køre en effektiv lokal LLM skal du bruge avanceret hardware. Tænk på kraftfulde CPU'er, masser af RAM og sandsynligvis en dedikeret GPU. Forvent ikke, at en bærbar computer med et budget på $400 giver en god oplevelse. Svarene vil være smerteligt langsomme, især med større AI-modeller. Det er som at køre banebrydende videospil - du har brug for kraftige specifikationer for optimal ydeevne. Du kan endda få brug for specialiserede køleløsninger. Den nederste linje er, at lokale LLM'er kræver en investering i top-tier hardware for at få den hastighed og reaktionsevne, du nyder godt af på webbaserede LLM'er (eller endda forbedre det). Computerkravene fra din side vil være betydelige sammenlignet med at bruge webbaserede tjenester.
2. Langsommere reaktioner og ringere ydeevne
En almindelig begrænsning for lokale LLM'er er langsommere svartider. Den nøjagtige hastighed afhænger af den specifikke AI-model og den anvendte hardware, men de fleste opsætninger halter bagefter online-tjenester. Efter at have oplevet øjeblikkelige svar fra ChatGPT, Bard og andre, kan lokale LLM'er føle sig rystende træge. Ord pibler langsomt ud i forhold til at blive hurtigt returneret. Dette er ikke universelt sandt, da nogle lokale implementeringer opnår god ydeevne. Men gennemsnitlige brugere står over for et stejlt fald fra den smarte weboplevelse. Så forbered dig på et "kulturchok" fra hurtige onlinesystemer til langsommere lokale ækvivalenter.
Kort sagt, medmindre du rocker en absolut top-of-the-line opsætning (vi taler AMD Ryzen 5800X3D med en Nvidia RTX 4090 og nok RAM til at sænke et skib), vil den samlede ydeevne af din lokale LLM ikke sammenlignes med de online generative AI chatbots, du er plejede.
3. Kompleks opsætning
Implementering af en lokal LLM er mere involveret end blot at tilmelde sig en webbaseret AI-tjeneste. Med en internetforbindelse kan din ChatGPT-, Bard- eller Bing AI-konto være klar til at begynde at spørge på få minutter. Opsætning af en fuld lokal LLM-stak kræver download af rammer, konfiguration af infrastruktur og integration af forskellige komponenter. For større modeller kan denne komplekse proces tage timer, selv med værktøjer, der har til formål at forenkle installationen. Nogle avancerede AI-systemer kræver stadig dyb teknisk ekspertise for at komme i gang lokalt. Så i modsætning til plug-and-play webbaserede AI-modeller, involverer administration af din egen AI en betydelig teknisk og tidsmæssig investering.
4. Begrænset viden
Mange lokale LLM'er sidder fast i fortiden. De har begrænset viden om aktuelle begivenheder. Kan du huske, da ChatGPT ikke kunne få adgang til internettet? Hvornår kunne den kun give svar på spørgsmål om begivenheder, der fandt sted før september 2021? Ja? Tja, i lighed med tidlige ChatGPT-modeller trænes lokalt hostede sprogmodeller ofte kun på data før en bestemt skæringsdato. Som følge heraf mangler de bevidsthed om den seneste udvikling efter det tidspunkt.
