Hvad er GPT4All, og hvordan virker det?

OpenAIs GPT-modeller har revolutioneret naturlig sprogbehandling (NLP), men medmindre du betaler for premium adgang til OpenAIs tjenester, vil du ikke være i stand til at finjustere og integrere deres GPT-modeller i din applikationer. Desuden vil OpenAI have adgang til alle dine samtaler, hvilket kan være et sikkerhedsproblem, hvis du bruger ChatGPT til erhvervslivet og andre mere følsomme områder af dit liv. Hvis du ikke er opsat på dette, kan du prøve GPT4All.

Så hvad er GPT4All egentlig? Hvordan fungerer det, og hvorfor bruge det over ChatGPT?

Hvad er GPT4All?

GPT4All er et open source-økosystem, der bruges til at integrere LLM'er i applikationer uden at betale for et platform- eller hardwareabonnement. Det blev skabt af Nomic AI, et informationskartografifirma, der har til formål at forbedre adgangen til AI-ressourcer.

GPT4All er designet til at køre på moderne til relativt moderne pc'er uden brug for en internetforbindelse eller endda en GPU! Dette er muligt, da de fleste af modellerne leveret af GPT4All er blevet kvantificeret til at være så små som et par gigabyte, hvilket kun kræver 4-16 GB RAM for at køre.

Dette giver mindre virksomheder, organisationer og uafhængige forskere mulighed for at bruge og integrere en LLM til specifikke applikationer. Og med GPT4All, der let kan installeres gennem et installationsprogram med ét klik, kan folk nu bruge GPT4All og mange af dets LLM'er til oprettelse af indhold, skrivning af kode, forståelse af dokumenter og information indsamling.

Hvorfor bruge GPT4ALL over ChatGPT?

Der er flere grunde til, at du måske vil bruge GPT4All over ChatGPT.

• Portabilitet: Modeller leveret af GPT4All kræver kun fire til otte gigabyte hukommelseslagring, kræver ikke en GPU for at køre og kan nemt gemmes på et USB-flashdrev med GPT4All et-klik installationsprogrammet. Dette gør GPT4All og dens modeller virkelig bærbare og anvendelige på stort set enhver moderne computer derude.
• Privatliv og sikkerhed: Som forklaret tidligere, medmindre du har adgang til ChatGPT Plus, er alle dine ChatGPT-konverteringer tilgængelige af OpenAI. GPT4All er fokuseret på datagennemsigtighed og privatliv; dine data vil kun blive gemt på din lokale hardware, medmindre du med vilje deler dem med GPT4All for at hjælpe med at udvikle deres modeller.
• Offline tilstand: GPT er en proprietær model, der kræver API-adgang og en konstant internetforbindelse for at forespørge eller få adgang til modellen. Hvis du mister en internetforbindelse eller har et serverproblem, har du ikke adgang til ChatGPT. Dette er ikke tilfældet med GPT4All. Da alle data allerede er lagret på en fire til otte gigabyte pakke, og inferencing udføres lokalt, behøver du ikke en internetforbindelse for at få adgang til nogen modeller i GPT4All. Du kan fortsætte med at chatte og finjustere din model selv uden internetforbindelse.
• Gratis og open source: Adskillige LLM'er leveret af GPT4All er licenseret under GPL-2. Dette giver enhver mulighed for at finjustere og integrere deres egne modeller til kommerciel brug uden at skulle betale for licens.

Sådan fungerer GPT4All

Som diskuteret tidligere er GPT4All et økosystem, der bruges til at træne og implementere LLM'er lokalt på din computer, hvilket er en utrolig bedrift! Indlæsning af en standard 25-30 GB LLM ville typisk tage 32 GB RAM og en GPU i virksomhedskvalitet.

For at sammenligne kræver de LLM'er, du kan bruge med GPT4All, kun 3 GB-8 GB lagerplads og kan køre på 4 GB-16 GB RAM. Dette gør det muligt at køre en hel LLM på en edge-enhed uden behov for en GPU eller ekstern cloud-assistance.

Hardwarekravene til at køre LLM'er på GPT4All er blevet væsentligt reduceret takket være kvantisering af neurale netværk. Ved at reducere præcisionsvægt og aktiveringer i et neuralt netværk kan mange af modellerne fra GPT4All køres på de fleste relativt moderne computere.

Træningsdataene brugt i nogle af de tilgængelige modeller blev indsamlet gennem "bunken", som blot er skrabet data fra offentligt frigivet indhold på internettet. Dataene sendes derefter til Nomic AI's Atlas AI-database, som kan ses baseret på korrelationer på et let-at-se 2D vektorkort (også kendt som en AI-vektordatabase).

Ved at Nomic AI trænede Groovy-modellen og bruge offentligt tilgængelige data, var Nomic AI i stand til at frigive modellen på en åben GPL-licens, som giver alle mulighed for at bruge den, selv til kommercielle applikationer.

Sådan installeres GPT4All

Det er enkelt at installere GPT4All, og nu hvor GPT4All version 2 er blevet frigivet, er det endnu nemmere! Den bedste måde at installere GPT4All 2 på er at downloade installationsprogrammet med et enkelt klik:

Hent:GPT4All til Windows, macOS eller Linux (gratis)

Følgende instruktioner er til Windows, men du kan installere GPT4All på hvert større operativsystem.

Når den er downloadet, skal du dobbeltklikke på installationsprogrammet og vælge Installere. Windows Defender kan se installationen som ondsindet, fordi processen for Microsoft at give gyldige signaturer til 3. parts applikationer kan tage lang tid. Dette skulle dog snart blive rettet. Som i skrivende stund, så længe du downloadede GPT4All-applikationen fra den officielle hjemmeside, burde du være sikker. Klik på Installer alligevel for at installere GPT4All.

Når du åbner applikationen, skal du vælge en model, du vil bruge. GPT4ALL giver dig flere modeller, som alle vil have deres styrker og svagheder. For at vide, hvilken model der skal downloades, er her en tabel, der viser deres styrker og svagheder.

Husk, at de leverede modeller har forskellige niveauer af begrænsninger. Ikke alle modeller kan bruges kommercielt gratis; nogle vil have brug for flere hardwareressourcer, mens andre skal bruge en API-nøgle. De mindst restriktive modeller, der er tilgængelige i GPT4All, er Groovy, GPT4All Falcon og Orca.

Kan du træne GPT4All-modeller?

Ja, men ikke de kvantificerede versioner. For effektivt at finjustere GPT4All-modeller skal du downloade råmodellerne og bruge GPU'er i virksomhedskvalitet som f.eks. AMD's instinktacceleratorer eller NVIDIAs Ampere eller Hopper GPU'er. Derudover skal du træne modellen gennem en AI-træningsramme som LangChain, hvilket vil kræve noget teknisk viden.

Finjustering af en GPT4All-model vil kræve nogle økonomiske ressourcer samt noget teknisk knowhow, men hvis du kun ønsker at tilføre en GPT4All-model tilpassede data, kan du fortsæt med at træne modellen gennem genfinding augmented generation (som hjælper en sprogmodel med at få adgang til og forstå information uden for sin basistræning for at fuldføre opgaver). Du kan gøre det ved at bede GPT4All om at modellere dine brugerdefinerede data, før du stiller et spørgsmål. Brugerdefinerede data skal gemmes lokalt, og når du bliver bedt om det, skal modellen kunne give dig de oplysninger, du engang gav.

Skal du bruge GTP4All?

Ideen med GPT4All er at levere en gratis-at-bruge og open source platform, hvor folk kan køre store sprogmodeller på deres computere. I øjeblikket er GPT4All og dets kvantificerede modeller gode til at eksperimentere, lære og afprøve forskellige LLM'er i et sikkert miljø. Til professionelle arbejdsbelastninger vil vi stadig anbefale at bruge ChatGPT, da modellen er væsentligt mere kapabel.

Samlet set er der ingen grund til at du skal begrænse dig til en. Da deres use case ikke overlapper, bør du prøve at bruge begge.