Sådan kører du en stor sprogmodel på Linux (og hvorfor du bør)

Store sprogmodeller har potentialet til at revolutionere måden, du bor og arbejder på, og kan føre samtaler og besvare spørgsmål med en variabel grad af nøjagtighed.

For at bruge en, har du typisk brug for en konto hos en LLM-udbyder og for at logge ind via et websted eller en dedikeret app. Men vidste du, at du kan køre din egen store sprogmodel helt offline på Linux?

Hvorfor køre en stor sprogmodel på Linux?

Store sprogmodeller (LLM'er) er overalt i disse dage og kan behandle naturligt sprog og give passende svar, som kan narre dig til at tro, at et menneske har svaret. Microsoft lancerer en ny AI-drevet version af Bing, mens Alphabets Bard er nu en integreret del af Google-søgninger.

Væk fra søgemaskiner kan du bruge såkaldte "AI-chatbots" til at besvare spørgsmål, digte eller endda lave dit hjemmearbejde for dig.

Men ved at få adgang til LLM'er online, er du afhængig af en tredjeparts udbyders goodwill - som kan trækkes tilbage til enhver tid.

Du er også underlagt brugsbegrænsninger. Bed OpenAI om at skrive en erotisk novelle på 6.000 ord, der foregår i Nazityskland, for eksempel, og du vil få et svar i stil med "Jeg undskylder, men jeg vil ikke være i stand til at generere den historie for dig."

Alt, hvad du indtaster til online LLM'er, bruges til at træne dem yderligere, og data, som du måske ønsker at forblive fortrolige, kan blive spyttet ud i fremtiden som en del af et svar på en andens spørgsmål.

Du er også underlagt mangel på service, da systemet er oversvømmet med brugere og nappes til at abonnere, så du kan få adgang til platformen, når efterspørgslen er stor.

Dalai er en gratis og open source-implementering af Metas LLaMa LLM og Stanfords Alpaca. Den kører komfortabelt på beskeden hardware og giver en praktisk webgrænseflade og en række promptskabeloner - så du kan spørge hvad som helst du ønsker, uden frygt for, at en administrator vil lukke din konto, vil LLM nægte at svare, eller din forbindelse vil dråbe.

Når du installerer en LLM lokalt på Linux, er den din, og du kan bruge den, som du vil.

Sådan installeres Dalai på Linux

Den nemmeste måde at installere Dalai på Linux er at bruge Docker og Docker Compose. Hvis du ikke allerede har disse, så se vores guide til, hvordan du gør det installere Docker og Docker Compose.

Når det er af vejen, er du klar til at begynde at installere Dalai. Klon Dalai GitHub-lageret og brug cd-kommandoen til at flytte ind i det:

git klon https://github.com/cocktailpeanut/dalai.git && cd dalai

For at få Dalai op at køre med en webgrænseflade skal du først bygge Docker Compose-filen:

docker-compose build

Docker Compose vil downloade og installere Python 3.11, Node Version Manager (NVM) og Node.js.

På trin syv af ni vil bygningen se ud til at fryse, efterhånden som Docker Compose downloader Dalai. Bare rolig: Tjek din brug af båndbredde for at forsikre dig selv om, at der sker noget, og simulere udviklingen af ​​virtuelle organismer i din terminal mens du venter.

Til sidst vil du blive returneret til kommandoprompten.

Dalai og LLaMa/Alpaca modellerne kræver meget hukommelse at køre. Selvom der ikke er nogen officiel specifikation, er en god grov guide 4GB for 7B-modellen, 8GB for 13B-modellen, 16GB for 30B-modellen og 32GB for 65B-modellen.

Alpaca-modellerne er relativt små, hvor 13B-modellen når beskedne 7,6 GB, men LLaMA-vægtene kan være enorme: den tilsvarende 13B download kommer på 60,21GB, og 65B-modellen vil optage en episk halv terabyte på din harddisk disk.

Beslut hvilken model der er bedst egnet til dine ressourcer, og brug følgende kommando til at installere den:

docker-compose køre dalai npx dalai alpaca install 13B

Eller:

docker-compose køre dalai npx dalai lama install 13B

Der er en chance for, at de modeller, der downloades via Dalai, kan være beskadiget. Hvis dette er tilfældet, tag dem fra Krammer ansigt i stedet.

Når du er vendt tilbage til kommandoprompten, skal du åbne Docker Compose i løsrevet tilstand:

docker-komponere op -d

Tjek om beholderen kører korrekt med:

docker-compose ps

Hvis alt fungerer som det skal, skal du åbne en webbrowser og gå ind lokale vært: 3000 i adresselinjen.

Hav det sjovt med din egen store sprogmodel på Linux

Når webgrænsefladen åbnes, vil du se et tekstfelt, hvor du kan skrive dine prompter.

Det er svært at skrive effektive prompter, og Dalai-udviklerne har hjælpsomt leveret en række skabeloner, der vil hjælpe dig med at få et nyttigt svar fra Dalai.

Disse er AI-dialog, Chatbot, Standard, Instruktion, Omskriv, Oversætte, og Tweet-stemning.

Som du kunne forvente, er AI-dialog og Chatbot skabeloner er struktureret på en måde, der giver dig mulighed for at holde en slags samtale med LLM. Den største forskel mellem de to er, at chatbotten formodes at være "meget intelligent", mens AI-dialogen er "hjælpsom, venlig, lydig, ærlig og kender sine egne grænser".

Selvfølgelig er dette din "AI", og hvis det behager dig, kan du ændre prompten, så chatbotten er dum, og AI-dialogens karakteristika er "sadistiske" og "unyttige". Det er op til dig.

Vi testede Oversætte funktion ved at kopiere det indledende afsnit af en BBC-nyhedshistorie og bede Dalai om at oversætte det til spansk. Oversættelsen var god, og da vi kørte den gennem Google Oversæt for at vende den tilbage til engelsk, fandt vi ud af, at den var ret læsbar og gentog fakta og følelser i det originale stykke.

Ligeledes er Omskriv skabelonen spundet teksten overbevisende ind i åbningen af ​​en ny artikel.

Det Standard og Instruktion prompter er struktureret til at hjælpe dig med at stille spørgsmål eller direkte instruere Dalai.

Dalai's nøjagtighed som svar vil variere meget afhængigt af hvilken model du bruger. En 30B-model vil være meget mere nyttig end en 7B-model. Men selv da bliver du mindet om, at LLM'er simpelthen er sofistikerede systemer til at gætte det næste ord i en sætning.

Hverken 7B eller 13B Alpaca modellerne var i stand til at give et nøjagtigt resumé på 200 ord af novellen, "Kat i Rain" af Ernest Hemingway, og begge udgjorde grundigt overbevisende plotlinjer og detaljer om hvad historien indeholdt.

Og mens den "hjælpsomme, venlige, lydige, ærlige" AI-Dialog, som "kender sine egne grænser", og "meget intelligente" Chatbot vil vægre sig ved kontroversielle meddelelser, kan du give Dalai en direkte instruktion eller standardanmodning, og den vil skrive, hvad du kan lide - uanset hvad du vil det.

En stor sprogmodel på din Linux-maskine er din

Ved at køre en stor sprogmodel på din egen Linux-boks, er du ikke underlagt tilsyn eller tilbagetrækning af service. Du kan bruge det, som du finder passende uden frygt for konsekvenser for overtrædelse af en virksomhedspolitik for indhold.

Hvis dine computerressourcer er få, kan du endda køre en LLM lokalt på en ydmyg Raspberry Pi.