Hvad er Apples neurale motor, og hvordan virker det?

Din iPhone, iPad, Mac og Apple TV gør brug af en specialiseret neural behandlingsenhed kaldet Apple Neural Engine (ANE), der er langt hurtigere og mere energieffektiv end CPU'en eller GPU'en.

ANE muliggør avancerede funktioner på enheden, såsom behandling af naturligt sprog og billedanalyse uden at trykke ind i skyen eller bruge overdreven strøm.

Lad os udforske, hvordan ANE fungerer og dets udvikling, herunder den inferens og intelligens, den driver på tværs af Apple-platforme, og hvordan udviklere kan bruge det i tredjepartsapps.

Hvad er Apple Neural Engine (ANE)?

Apple Neural Engine er et marketingnavn for en klynge af højt specialiserede computerkerner, der er optimeret til energieffektiv udførelse af dybe neurale netværk på Apple-enheder. Det accelererer maskinlæring (ML) og kunstig intelligens (AI) algoritmer og tilbyder enorme hastigheds-, hukommelses- og strømfordele i forhold til den primære CPU eller GPU.

ANE er en stor del af, hvorfor de nyeste iPhones, iPads, Macs og Apple TV'er er lydhøre og ikke bliver varme under tunge ML- og AI-beregninger. Desværre har ikke alle Apple-enheder en ANE - Apple Watch, Intel-baserede Mac'er og enheder ældre end 2016 mangler en.

Den første ANE, der debuterede inden for Apples A11-chip i 2017's iPhone X, var kraftig nok til at understøtte Face ID og Animoji. Til sammenligning er den seneste ANE i A15 Bionic-chippen 26 gange hurtigere end den første version. I dag aktiverer ANE funktioner som offline Siri, og udviklere kan bruge det til at køre tidligere trænede ML-modeller, hvilket frigør CPU'en og GPU'en til at fokusere på opgaver, der passer bedre til dem.

Hvordan virker Apples neurale motor?

ANE leverer kontrol og aritmetisk logik optimeret til at udføre omfattende computeroperationer som multiplikation og akkumulering, almindeligvis brugt i ML- og AI-algoritmer, såsom billedklassificering, medieanalyse, maskinoversættelse og mere.

Ifølge Apples patent med titlen "Multi-Mode Planar Engine for Neural Processor," ANE består af flere neurale motorkerner og et eller flere multi-mode plane kredsløb.

Designet er optimeret til parallel computing, hvor mange operationer, som matrixmultiplikationer, der kører i billioner af iterationer, skal udføres samtidigt.

For at fremskynde inferens i AI-algoritmer bruger ANE prædiktive modeller. Derudover har ANE sin egen cache og understøtter kun nogle få datatyper, hvilket hjælper med at maksimere ydeevnen.

AI-funktioner drevet af ANE

Her er nogle funktioner på enheden, som du måske er bekendt med, som ANE muliggør.

• Naturlig sprogbehandling: Hurtigere, mere pålidelig stemmegenkendelse til diktering og Siri; Forbedret naturlig sprogindlæring i Translate-appen og i hele systemet; Øjeblikkelig tekstoversættelse i Fotos, Kamera og andre iPhone-apps.
• Computer vision: At finde objekter på billeder som vartegn, kæledyr, planter, bøger og blomster ved hjælp af appen Fotos eller Spotlight-søgning; Får yderligere oplysninger om genkendte objekter ved hjælp af Visual Look Up på steder som Safari, Mail og Beskeder.
• Augmented reality: Folkeokklusion og bevægelsessporing i AR-apps.
• Videoanalyse: Registrering af ansigter og objekter på video i apps som Final Cut Pro.
• Kamera effekter: Automatisk beskæring med Center Stage; Baggrundssløring under FaceTime-videoopkald.
• Spil: Fotorealistiske effekter i 3D-videospil.
• Live tekst: Giver optisk tegngenkendelse (OCR) i kamera og fotos, så du nemt kan kopiere håndskrift eller tekst som en Wi-Fi-adgangskode eller adresse fra billeder.
• Beregningsfotografering: Deep Fusion analyserer pixels for bedre støjreduktion, større dynamikområde og forbedret automatisk eksponering og hvidbalance ved at udnytte Smart HDR, når det er relevant; Fotografering med lav dybdeskarphed, herunder at tage nattilstandsportrætter; Justering af baggrundssløringsniveauet med Depth Control.
• Godbidder: ANE bruges også til fotografiske stilarter i kamera-appen, kurering af minder og stilistiske effekter i fotos, personlige anbefalinger som tapetforslag, VoiceOver-billedtekstning, at finde billedduplikater i Fotos mv.

Nogle af funktionerne nævnt ovenfor, som billedgenkendelse, fungerer også uden en ANE til stede, men vil køre meget langsommere og belaste din enheds batteri.

En kort historie om Apples neurale motor: Fra iPhone X til M2 Macs

I 2017 implementerede Apple sin allerførste ANE i form af to specialiserede kerner i iPhone X's A11-chip. Med nutidens standarder var det relativt langsomt med kun 600 milliarder operationer i sekundet.

Anden generation af ANE dukkede op inde i A12-chippen i 2018 og havde fire gange så mange kerner. Bedømt til fem billioner operationer i sekundet var denne ANE næsten ni gange hurtigere og brugte en tiendedel af sin forgængers kraft.

2019's A13-chip havde den samme otte-kerne ANE, men kørte en femtedel hurtigere, mens den brugte 15 % mindre strøm, et produkt af TSMC's forbedrede 7nm halvlederknude. TSMC (Taiwan Semiconductor Manufacturing Company) fremstiller Apple-designede chips.

Udviklingen af ​​Apple Neural Engine

Året efter fordoblede Apple A14 næsten ANE-ydelsen til 11 billioner operationer i sekundet, opnået ved at øge antallet af ANE-kerner fra 8 til 16. I 2021 nød A15 Bionic fordel af TSMCs andengenerations 5nm-proces, som yderligere øgede ANE-ydelsen til 15,8 billioner operationer i sekundet uden at tilføje flere kerner.

De første Mac-bundne M1-, M1 Pro- og M1 Max-chips havde samme ANE som A14, hvilket bragte avanceret, hardwareaccelereret ML og AI til macOS-platformen for første gang.

I 2022 kombinerede M1 Ultra to M1 Max-chips i en enkelt pakke ved hjælp af Apples brugerdefinerede sammenkobling kaldet UltraFusion. Med to gange ANE-kernerne (32) fordoblede M1 Ultra ANE-ydelsen til 22 billioner operationer i sekundet.

Apple A16 i 2022 blev fremstillet ved hjælp af TSMC's forbedrede N4-knude, hvilket giver omkring 8% hurtigere ANE-ydeevne (17 billioner operationer pr. sekund) sammenlignet med A15's ANE.

De første ANE-aktiverede iPads var femte generation iPad mini (2019), tredje generation iPad Air (2019) og ottende generation iPad (2020). Alle iPads udgivet siden har en ANE.

Hvordan kan udviklere bruge ANE i apps?

Mange tredjepartsapps bruger ANE til funktioner, som ellers ikke ville være gennemførlige. Eksempelvis giver billedredigeringsprogrammet Pixelmator Pro værktøjer som ML Super Resolution og ML Enhance. Og i djay Pro adskiller ANE beats, instrumentaler og vokalspor fra en optagelse.

Tredjepartsudviklere får dog ikke lavniveauadgang til ANE. I stedet skal alle ANE-opkald gå gennem Apples softwareramme til maskinlæring, Core ML. Med Core ML kan udviklere bygge, træne og køre deres ML-modeller direkte på enheden. En sådan model bruges derefter til at lave forudsigelser baseret på nye inputdata.

"Når en model er på en brugers enhed, kan du bruge Core ML til at genoptræne eller finjustere den på enheden med den brugers data," ifølge Core ML-oversigten på Apples hjemmeside.

For at accelerere ML- og AI-algoritmer udnytter Core ML ikke kun ANE, men også CPU'en og GPU'en. Dette gør det muligt for Core ML at køre en model, selvom ingen ANE er tilgængelig. Men med en ANE til stede, vil Core ML køre meget hurtigere, og batteriet vil ikke blive drænet så hurtigt.

Mange Apple-funktioner ville ikke fungere uden ANE

Mange funktioner på enheden ville ikke være mulige uden den hurtige behandling af AI- og ML-algoritmer og det minimerede hukommelsesfodaftryk og strømforbrug, som ANE bringer til bordet. Apples magi er at have en dedikeret coprocessor til at køre neurale netværk privat på enheden i stedet for at overføre disse opgaver til servere i skyen.

Med ANE kan både Apple og udviklere implementere dybe neurale netværk og høste fordelene ved accelereret maskinlæring til forskellige prædiktive modeller som maskinoversættelse, objektdetektering, billedklassificering, etc.