Co je to Neural Engine společnosti Apple a jak to funguje?

Váš iPhone, iPad, Mac a Apple TV využívají specializovanou neurální procesorovou jednotku zvanou Apple Neural Engine (ANE), která je mnohem rychlejší a energeticky účinnější než CPU nebo GPU.

ANE umožňuje pokročilé funkce na zařízení, jako je zpracování přirozeného jazyka a analýza obrazu, bez použití cloudu nebo nadměrné spotřeby energie.

Pojďme prozkoumat, jak ANE funguje a jak se vyvíjí, včetně odvození a inteligence, kterou pohání napříč platformami Apple a jak jej mohou vývojáři používat v aplikacích třetích stran.

Co je Apple Neural Engine (ANE)?

Apple Neural Engine je marketingový název pro skupinu vysoce specializovaných výpočetních jader optimalizovaných pro energeticky efektivní provádění hlubokých neuronových sítí na zařízeních Apple. Zrychluje strojové učení (ML) a algoritmy umělé inteligence (AI) a nabízí ohromné ​​výhody rychlosti, paměti a výkonu oproti hlavnímu CPU nebo GPU.

ANE je velkou součástí toho, proč nejnovější iPhony, iPady, Macy a Apple TV reagují a nezahřívají se během náročných výpočtů ML a AI. Bohužel ne všechna zařízení Apple mají ANE – Apple Watch, Macy s procesorem Intel a zařízení starší než 2016 jej postrádají.

První ANE, který debutoval v čipu Apple A11 v roce 2017, byl iPhone X dostatečně výkonný, aby podporoval Face ID a Animoji. Pro srovnání, nejnovější ANE v čipu A15 Bionic je 26krát rychlejší než první verze. V současné době ANE umožňuje funkce, jako je offline Siri, a vývojáři jej mohou používat ke spouštění dříve vyškolených modelů ML, čímž uvolňují CPU a GPU, aby se mohli soustředit na úkoly, které jsou pro ně vhodnější.

Jak funguje Neural Engine společnosti Apple?

ANE poskytuje řídicí a aritmetickou logiku optimalizovanou pro provádění rozsáhlých výpočetních operací, jako je násobení a akumulace, běžně používané v algoritmech ML a AI, jako je klasifikace obrázků, analýza médií, strojový překlad a více.

Podle Patent Applu ANE s názvem "Multi-Mode Planar Engine for Neural Processor" se skládá z několika jader neuronového motoru a jednoho nebo více multimódových planárních obvodů.

Návrh je optimalizován pro paralelní výpočty, kde musí být současně prováděno mnoho operací, jako je násobení matic v bilionech iterací.

K urychlení vyvozování v algoritmech AI používá ANE prediktivní modely. Kromě toho má ANE vlastní mezipaměť a podporuje jen několik typů dat, což pomáhá maximalizovat výkon.

Funkce AI Powered by ANE

Zde jsou některé funkce na zařízení, které možná znáte a které ANE umožňuje.

• Zpracování přirozeného jazyka: Rychlejší a spolehlivější rozpoznávání hlasu pro diktování a Siri; Vylepšené učení přirozeného jazyka v aplikaci Překladač a v celém systému; Okamžitý překlad textu ve Fotkách, Fotoaparátu a dalších aplikacích pro iPhone.
• Počítačové vidění: Hledání objektů na obrázcích, jako jsou orientační body, domácí mazlíčci, rostliny, knihy a květiny, pomocí aplikace Fotky nebo vyhledávání Spotlight; Získání dalších informací o rozpoznané objekty pomocí Visual Look Up na místech, jako je Safari, Mail a Zprávy.
• Rozšířená realita: Okluze lidí a sledování pohybu v aplikacích AR.
• Video analýza: Detekce tváří a objektů na videu v aplikacích jako Final Cut Pro.
• Efekty fotoaparátu: Automatické oříznutí s centrální scénou; Rozostření pozadí během videohovorů FaceTime.
• Hry: Fotorealistické efekty ve 3D videohrách.
• Živý text: Poskytování optického rozpoznávání znaků (OCR) ve fotoaparátu a fotografiích, což vám umožňuje snadno zkopírovat rukopis nebo text, jako je heslo Wi-Fi nebo adresa, z obrázků.
• Počítačová fotografie: Deep Fusion analyzuje pixely pro lepší redukci šumu, větší dynamický rozsah a vylepšenou automatickou expozici a vyvážení bílé, přičemž v případě potřeby využívá Smart HDR; Fotografie s malou hloubkou ostrosti, včetně fotografování portrétů v nočním režimu; Úprava úrovně rozostření pozadí pomocí funkce Depth Control.
• Tidbits: ANE se také používá pro fotografické styly v aplikaci Fotoaparát, kurátorství vzpomínek a stylistické efekty ve Fotkách, personalizovaná doporučení, jako jsou návrhy tapet, popisky obrázků VoiceOver, hledání duplikátů obrázků v Fotky atd.

Některé z výše uvedených funkcí, jako je rozpoznávání obrazu, fungují také bez přítomnosti ANE, ale poběží mnohem pomaleji a zatěžují baterii vašeho zařízení.

Stručná historie Apple Neural Engine: Od iPhonu X po Macy M2

V roce 2017 Apple nasadil svůj úplně první ANE v podobě dvou specializovaných jader v rámci čipu A11 iPhonu X. Podle dnešních standardů to bylo relativně pomalé, jen 600 miliard operací za sekundu.

Druhá generace ANE se objevila uvnitř čipu A12 v roce 2018 se čtyřnásobným počtem jader. S rychlostí pět bilionů operací za sekundu byl tento ANE téměř devětkrát rychlejší a využíval desetinu výkonu svého předchůdce.

Čip A13 z roku 2019 měl stejný osmijádrový ANE, ale běžel o pětinu rychleji a spotřeboval o 15 % méně energie, což je produkt vylepšeného 7nm polovodičového uzlu TSMC. Společnost TSMC (Taiwan Semiconductor Manufacturing Company) vyrábí čipy navržené společností Apple.

Evoluce Apple Neural Engine

Následující rok Apple A14 téměř zdvojnásobil výkon ANE na 11 bilionů operací za sekundu, čehož bylo dosaženo zvýšením počtu jader ANE z 8 na 16. V roce 2021 A15 Bionic těžil z 5nm procesu druhé generace TSMC, který dále zvýšil výkon ANE na 15,8 bilionu operací za sekundu bez přidání dalších jader.

První čipy M1, M1 Pro a M1 Max navázané na Mac měly stejné ANE jako A14, což poprvé přineslo pokročilé, hardwarově akcelerované ML a AI na platformu macOS.

V roce 2022 M1 Ultra zkombinoval dva čipy M1 Max v jednom balení pomocí vlastního propojení Apple s názvem UltraFusion. S dvojnásobným počtem jader ANE (32) M1 Ultra zdvojnásobil výkon ANE na 22 bilionů operací za sekundu.

Apple A16 v roce 2022 byl vyroben pomocí vylepšeného uzlu N4 společnosti TSMC, který přinesl o 8 % rychlejší výkon ANE (17 bilionů operací za sekundu) ve srovnání s ANE u A15.

První iPady s podporou ANE byly iPad mini páté generace (2019), iPad Air třetí generace (2019) a iPad osmé generace (2020). Všechny iPady vydané od té doby mají ANE.

Jak mohou vývojáři používat ANE v aplikacích?

Mnoho aplikací třetích stran používá ANE pro funkce, které by jinak nebyly proveditelné. Například editor obrázků Pixelmator Pro poskytuje nástroje jako ML Super Resolution a ML Enhance. A v djay Pro ANE odděluje beaty, instrumentální a vokální stopy od nahrávky.

Vývojáři třetích stran však nezískají nízkoúrovňový přístup k ANE. Místo toho musí všechna volání ANE projít softwarovým rámcem Apple pro strojové učení, Core ML. S Core ML mohou vývojáři vytvářet, trénovat a provozovat své modely ML přímo na zařízení. Takový model se pak používá k předpovědím na základě nových vstupních dat.

„Jakmile je model na zařízení uživatele, můžete jej pomocí Core ML přeškolit nebo doladit na zařízení s daty daného uživatele,“ uvádí přehled Core ML na webu webové stránky společnosti Apple.

K urychlení algoritmů ML a AI využívá Core ML nejen ANE, ale také CPU a GPU. To umožňuje Core ML spustit model, i když není k dispozici ANE. Ale s přítomností ANE poběží Core ML mnohem rychleji a baterie se nebude tak rychle vybíjet.

Mnoho funkcí Apple by bez ANE nefungovalo

Mnoho funkcí na zařízení by nebylo možné bez rychlého zpracování algoritmů AI a ML a minimalizovaného zatěžování paměti a spotřeby energie, které ANE přináší. Kouzlo společnosti Apple spočívá v tom, že má vyhrazený koprocesor pro soukromé spouštění neuronových sítí na zařízení namísto přesunu těchto úloh na servery v cloudu.

S ANE může Apple i vývojáři implementovat hluboké neuronové sítě a těžit z výhod akcelerace strojové učení pro různé prediktivní modely, jako je strojový překlad, detekce objektů, klasifikace obrázků, atd.