Hvad er TensorFlow Lite, og hvordan er det en dyb læringsramme?

Du er muligvis stødt på TensorFlow Lite, mens du gennemgår Edge AI-udviklingskort eller AI-accelerationsprojekter.

TensorFlow Lite er en ramme af softwarepakker, der muliggør ML-træning lokalt på hardwaren. Denne bearbejdning og databehandling på enheden giver udviklere mulighed for at køre deres modeller på målrettet hardware. Hardwaren inkluderer udviklingskort, hardwaremoduler, integrerede enheder og IoT-enheder.

Oversigt over TensorFlow Lite Framework

TensorFlow er et populært udtryk inden for dyb læring, da mange ML-udviklere bruger denne ramme til forskellige brugssager. Det giver nem implementering maskinlæringsmodeller og slutninger til AI-applikationer.

Men TensorFlow Lite er en dyb læringsramme for lokal inferens, specifikt til lav beregningshardware. Det giver mulighed for maskinlæring på enheden ved at hjælpe udviklere med at køre deres modeller på kompatibel hardware og IoT-enheder.

En udvikler skal vælge en passende model afhængigt af brugen. Rammen giver også mulighed for at omskolere den eksisterende model også i et brugerdefineret datasæt. Da TensorFlow's protokolbuffermodel har en stor størrelse og kræver avanceret beregningskraft, muliggør den således konvertering af TensorFlow-modellen til TensorFlow Lite-modellen.

Tilpasningen af ​​optimering og kvantisering af parametre muliggør reduktion i modelstørrelse og latenstid.

Bortset fra latenstids- og størrelsesfordelene ved TensorFlow Lite giver rammen sikkerhed for data, da træning finder sted lokalt på enheden. Derudover er der ikke behov for internetforbindelse. Således er implementeringen af ​​applikationer ikke begrænset til bestemte områder med forbindelse.

Disse faktorer reducerer i sidste ende strømforbrugsbelastningen på enheden ved at fjerne tilslutningsfaktoren og øge effektiviteten af ​​den dybe læringsinferens.

Modeller af TensorFlow Lite-rammen findes i et platformformat kendt som FlatBuffers. Det er et serialiseringsbibliotek, der gemmer hierarkiske data i en flad binær buffer, så direkte adgang er mulig uden udpakning. Du kan også observere “.tflite” -udvidelsen til TensorFlow Lite-modellerne. Denne repræsentationsteknik tillader optimeringer i beregninger og reducerer hukommelseskravene. Derfor gør det det meget bedre end TensorFlow-modeller

TinyML på TensorFlow Lite Micro

Da TensorFlow Lite er kompatibel med forskellige platforme til Edge AI-applikationer, var behovet for yderligere konvertering af biblioteket nødvendigt. Derfor kom organisationen op med et undersætbibliotek af TensorFlow Lite, kendt som TensorFlow Lite Micro. TensorFlow Lite Micro kører specifikt maskinlæringsmodeller på mikrocontrollere lokalt med et minimum af hukommelseskrav på omkring et par kilobyte.

Procedurens kerne runtime integreres med 16 KB på en Arm Cortex M3 og kan arbejde på forskellige modeller. Rammen kræver ikke yderligere OS-understøttelse eller andre sprogbiblioteker på højt niveau som afhængigheder for at køre slutningen på enheden.

Udviklingen af ​​TensorFlow Lite Micro-rødder til C ++ 11, som har brug for 32-bit arkitektur for kompatibilitet. Når vi taler mere om arkitekturer, fungerer biblioteket fint på et robust udvalg af processorer baseret på Arm Cortex-M-seriens arkitektur til andre designarkitekturer som ESP32.

Arbejdsflow til TensorFlow Lite-brugssager

Træningsprocessen i det neurale netværk kræver høj beregningshardware. Således trænes det i det generelle TensorFlow-model. Træning er dog kun påkrævet, hvis et brugerdefineret datasæt passer til en dyb læringsmodel, mens foruddannede modeller på rammen også kan bruges til applikationerne.

Under forudsætning af en brugerdefineret brugssag med det applikationsspecifikke datasæt træner brugeren modellen i den generelle TensorFlow-ramme med høj processorkapacitet og arkitektur. Når træningen er slut, verificerer modelevaluering ved hjælp af testteknikker nøjagtigheden og pålideligheden af ​​modellen. Yderligere følges processen ved at konvertere TensorFlow-modellen til hardwarekompatibel TensorFlow Lite-model i .tflite-format.

.Tflite-formatet er en flad bufferfil, der er fælles for TensorFlow Lite-rammen og kompatibel hardware. Modellen kan yderligere bruges til inferencetræning om realtidsdata modtaget på modellen. Sluttræning optimerede modellerne til robuste anvendelsestilfælde. Derfor er muligheden for inferencetræning afgørende for kant AI-applikationer.

Det meste af microcontrollers firmware understøtter ikke det oprindelige filsystem til direkte indlejring af det flade bufferformat for TensorFlow Lite-modellen. Derfor er konvertering af .tflite-filen nødvendig til et array-strukturformat, som er kompatibelt med mikrokontrollerne.

Inkludering af programmet i C-arrayet efterfulgt af normal kompilering er en nem teknik til en sådan konvertering. Det resulterende format fungerer som en kildefil og består af et tegnarray, der er kompatibelt med mikrokontrollerne.

Enheder, der understøtter TensorFlow Lite Micro

TensorFlow Lite er velegnet til kraftfulde enheder, men det kommer med ulempen ved den større arbejdsbyrde på processoren. Selvom TensorFlow Lite Micro har små filer, der er tilbøjelige til at underfitting, optimeres filstørrelsen passer til hukommelsen, kan forbedre output for hardware med lavt strømforbrug og lavt behandlingsudstyr betydeligt mikrokontroller.

Her er listen over udviklingstavler fra den officielle TensorFlow-dokumentation, der understøtter TensorFlow Lite Micro:

• Arduino Nano 33 BLE Sense
• SparkFun Edge
• STM32F746 Opdagelsessæt
• Adafruit EdgeBadge
• Adafruit TensorFlow Lite til mikrokontrollersæt
• Adafruit Circuit Playground Bluefruit
• Espressif ESP32-DevKitC
• Espressif ESP-EYE
• Wio-terminal: ATSAMD51
• Himax WE-I Plus EVB Endpoint AI Development Board

TensorFlow Lite Micro er også tilgængelig som et Arduino-bibliotek til udvidet support til mikrokontrollere. Det kan også bygge projekter til hardwareudviklingsmiljøer, der ligner Mbed.

TensorFlow Lite tilbyder meget

TensorFlow Lite dyb læringsramme åbner mulighederne for en række kant AI applikationer. Da rammen er open source for AI-entusiaster, gør samfundsstøtten det endnu mere populært til maskinlæring. Den overordnede platform for TensorFlow Lite forbedrer miljøet til vækst i kantapplikationer til indlejrede og IoT-enheder

Derudover er der forskellige eksempler for begyndere til at hjælpe dem med de praktiske brugssager på rammen. Nogle af disse eksempler inkluderer personregistrering afhængigt af de data, der er indsamlet af billedsensoren på udviklingskortet og standardhello-verdensprogrammet for alle udviklingskort. Eksemplerne inkluderer også applikationer som bevægelsesdetektion og talegenkendelse til specifikke udviklingskort.

For mere information om TensorFlow Lite og TensorFlow Lite Micro, kan du besøge organisationens officielle dokumentationsside. Der er mange konceptuelle såvel som tutorial-sektioner for en bedre forståelse af rammen.

Kom godt i gang med billedgenkendelse ved hjælp af TensorFlow og Raspberry Pi

Vil du forstå billedgenkendelsen? Takket være Tensorflow og en Raspberry Pi kan du komme i gang med det samme.

Læs Næste

Om forfatteren