Google offentliggør sin Lyra Low Bitrate Speech Codec offentlig

Google har frigivet sin Lyra-lydkodec beta-kildekode på GitHub, hvilket gør utrolig kvalitet med lav bitrate lydbehandling tilgængelig for alle udviklere. Codec er mest nyttigt i indlejrede og båndbreddebegrænsede situationer, hvor så mange data skal gemmes som muligt.

Lyra: Næsten intet lød aldrig så godt

Audio codec fungerer på princippet om at levere den mest naturligt lyd med den lavest mulige datahastighed. Det lykkes at skabe næsten uhyggelige niveauer af lydgengivelse med bitrates så lave som 3 kbps. Google bruger Lyra-komprimering i realtid allerede i sin Duo-app, selvom du ikke får skylden for ikke engang at indse en forskel fra almindelig båndbreddelyd.

For at demonstrere, hvor meget bedre Lyra er end andre codecs, giver Google eksempler via en blogindlæg sammenligning af Machine Learning-drevet komprimeringskodec med andre 3 og 6 kbps alternativer.

Det er en nat om dagen forskel, og at give udviklere verden over disse værktøjer vil være en væsentlig drivkraft i forbedring af kommunikationskvaliteten, hvor båndbredden er knap. Det er også en fremragende motivator for udviklere, der ønsker at oprette nye apps på nye markeder, noget som Google helt sikkert vil dække i dette år

gratis virtuel Google I / O online-konference.

Betakildekoden er i øjeblikket designet med 64-bit Arm-enheder i tankerne, selvom eksemplerne også kører på 64-bit x86 Linux-systemer. Kildekoden leveres fuldt dokumenteret, selvom den er i beta, og GitHub-siden indeholder installationsinstruktioner, og hvordan man bygger Lyra på Linux til Arm 64-bit mål.

For at få Lyra beta-kildekoden skal du gå til Lyra GitHub side.

Hvordan fungerer Lyra?

Mens den faktiske proces, Lyra bruger, er en utrolig kompleks kombination af maskinlæringsmodeller, der trænes i tusinder af timers taledata og optimeringer af eksisterende lydkodec-teknologi, teorien er ganske enkel.

Hver 40ms er funktioner taget fra tale og komprimeret ned til 3kbps. Disse funktioner repræsenterer taleenergipunkter på tværs af frekvensspektret, der er tættest på menneskelig auditiv talesvar - de ting, vi har brug for at genkende og forstå, når nogen taler.

Den vigtigste del af, hvad der gør Lyra speciel, er, hvordan den bruger disse oplysninger:

Men traditionelle parametriske codecs, som simpelthen udtrækker fra talekritiske parametre, som derefter kan være bruges til at genskabe signalet i den modtagende ende, opnå lave bithastigheder, men lyder ofte robotisk og unaturligt. Disse mangler har ført til udviklingen af ​​en ny generation af højkvalitets lydgenerative modeller, der har revolutionerede feltet ved at være i stand til ikke kun at skelne mellem signaler, men også generere helt nyt dem.

Efter transmission genopbygger Lyra bølgeformen ved at udfylde, hvad der mangler ved hjælp af denne proces, mens den på en eller anden måde ikke er for beregningsmæssigt kompleks.

På den ene side er det et teknologisk vidunder, der vil løbe næsten overalt. På den anden side er jeg stadig ikke 100% overbevist om, at det ikke er hekseri.

10 Google Duo-funktioner, du virkelig burde bruge

Google Duo er en af ​​de bedste apps til videoopkald derude. Det har mange funktioner, og her er dem, som vi synes, du virkelig skal bruge.

Læs Næste

Om forfatteren