Platforma TensorFlow společnosti Google umožňuje svým uživatelům trénovat AI poskytováním nástrojů a zdrojů pro strojové učení. Inženýři AI po dlouhou dobu používali tradiční CPU a GPU k trénování AI. Přestože tyto procesory zvládnou různé procesy strojového učení, stále se jedná o univerzální hardware používaný pro různé každodenní úkoly.
Pro urychlení školení AI vyvinul Google speciální integrovaný obvod (ASIC) známý jako TPU (Tensor Processing Unit). Co je to ale jednotka Tensor Processing Unit a jak urychlují programování AI?
Co jsou jednotky TPU (Tensor Processing Units)?
Jednotky Tensor Processing Units jsou od společnosti Google ASIC pro strojové učení. TPU se specificky používají pro hluboké učení k řešení složitých maticových a vektorových operací. Jednotky TPU jsou zefektivněny, aby řešily maticové a vektorové operace při ultra vysokých rychlostech, ale musí být spárovány s CPU, aby mohly dávat a vykonávat instrukce. Jednotky TPU lze používat pouze s jednotkami Google Platforma TensorFlow nebo TensorFlow Lite
ať už prostřednictvím cloud computingu nebo jeho odlehčené verze na lokálním hardwaru.Aplikace pro TPU
Google používá TPU od roku 2015. Potvrdili také použití těchto nových procesorů pro zpracování textu Google Street View, Fotky Google a Výsledky vyhledávání Google (Rank Brain), as a také vytvořit AI známou jako AlphaGo, která porazila nejlepší hráče Go, a systém AlphaZero, který zvítězil nad předními programy v Chess, Go a Shogi.
TPU lze použít v různých aplikacích hlubokého učení, jako je detekce podvodů, počítačové vidění, přirozený jazyk zpracování, samořídící auta, vokální umělá inteligence, zemědělství, virtuální asistenti, obchodování s akciemi, e-commerce a různé sociální předpovědi.
Kdy použít TPU
Vzhledem k tomu, že TPU jsou vysoce specializovaný hardware pro hluboké učení, ztrácí mnoho dalších funkcí, které byste obvykle očekávali od univerzálního procesoru, jako je CPU. S ohledem na to existují specifické scénáře, kdy použití TPU přinese nejlepší výsledek při trénování AI.
Nejlepší čas pro použití TPU je pro operace, kde modely silně spoléhají na maticové výpočty, jako jsou systémy doporučení pro vyhledávače. TPU také poskytují skvělé výsledky pro modely, kde AI analyzuje obrovské množství datových bodů, jejichž dokončení bude trvat několik týdnů nebo měsíců. Inženýři AI používají TPU pro případy bez vlastních modelů TensorFlow a musí začít od nuly.
Kdy nepoužívat TPU
Jak již bylo uvedeno dříve, optimalizace TPU způsobuje, že tyto typy procesorů pracují pouze na konkrétních operacích zátěže. Proto existují případy, kdy volba použití tradičního CPU a GPU přinese rychlejší výsledky. Mezi tyto případy patří:
- Rychlé prototypování s maximální flexibilitou
- Modely omezené dostupnými datovými body
- Modely, které jsou jednoduché a lze je rychle trénovat
- Modely jsou příliš náročné na změnu
- Modely závislé na vlastních operacích TensorFlow napsaných v C++
Verze a specifikace TPU
Od té doby, co Google oznámil své TPU, byla veřejnost neustále informována o nejnovějších verzích TPU a jejich specifikacích. Níže je uveden seznam všech verzí TPU se specifikacemi:
| TPUv1 | TPUv2 | TPUv3 | TPUv4 | Edgev1 | |
|---|---|---|---|---|---|
| Datum zavedení | 2016 | 2017 | 2018 | 2021 | 2018 |
| Procesní uzel (nm) | 28 | 16 | 16 | 7 | |
| Velikost matrice (mm²) | 331 | <625 | <700 | <400 | |
| Paměť na čipu | 28 | 32 | 32 | 144 | |
| Rychlost hodin (MHz) | 700 | 700 | 940 | 1050 | |
| Nejmenší konfigurace paměti (GB) | 8 DDR3 | 16 HBM | 32 HBM | 32 HBM | |
| TDP (Watty) | 75 | 280 | 450 | 175 | 2 |
| TOPS (počet operací za sekundu) | 23 | 45 | 90 | ? | 4 |
| TOPS/W | 0.3 | 0.16 | 0.2 | ? | 2 |
Jak můžete vidět, rychlost hodin TPU se nezdá tak působivá, zvláště když moderní stolní počítače dnes mohou mít rychlosti hodin 3-5krát rychlejší. Ale když se podíváte na spodní dva řádky tabulky, můžete vidět, že TPU dokážou zpracovat 23-90 tera-operací za sekundu s použitím pouze 0,16-0,3 wattů energie. Odhaduje se, že TPU jsou 15-30krát rychlejší než moderní CPU a GPU při použití rozhraní neuronové sítě.
S každou vydanou verzí vykazují novější TPU významná vylepšení a možnosti. Zde je několik zajímavostí pro každou verzi.
- TPUv1: První veřejně oznámený TPU. Navrženo jako 8bitový maticový multiplikační engine a je omezeno na řešení pouze celých čísel.
- TPUv2: Protože inženýři poznamenali, že TPUv1 byl omezený v šířce pásma. Tato verze má nyní dvojnásobnou šířku pásma paměti s 16 GB RAM. Tato verze nyní umí řešit plovoucí desetinné čárky, což je užitečné pro školení a vyvozování.
- TPUv3: TPUv3, vydané v roce 2018, má dvakrát více procesorů a je nasazeno se čtyřnásobným počtem čipů než TPUv2. Upgrady umožňují této verzi dosáhnout osminásobného výkonu oproti předchozím verzím.
- TPUv4: Toto je nejnovější verze TPU oznámená 18. května 2021. Generální ředitel společnosti Google oznámil, že tato verze bude mít více než dvojnásobný výkon než TPU v3.
- Hrana TPU: Tato verze TPU je určena pro menší operace optimalizované tak, aby při celkovém provozu využívaly méně energie než jiné verze TPU. Přestože využívá pouze dva watty energie, Edge TPU dokáže vyřešit až čtyři terra-operace za sekundu. Edge TPU se nachází pouze na malých kapesních zařízeních, jako je smartphone Pixel 4 od Googlu.
Jak získáte přístup k TPU? Kdo je může používat?
TPU jsou proprietární procesorové jednotky navržené společností Google pro použití s platformou TensorFlow. Přístup třetích stran k těmto procesorům je povolen od roku 2018. Dnes jsou TPU (kromě Edge TPU) přístupné pouze přes Google výpočetní služby prostřednictvím cloudu. Zatímco hardware Edge TPU lze zakoupit prostřednictvím smartphonu Pixel 4 společnosti Google a jeho prototypové sady známé jako Coral.
Coral je USB akcelerátor, který pro data a napájení využívá USB 3.0 typu C. Poskytuje vašemu zařízení výpočetní výkon Edge TPU schopný 4 TOPS na každé 2W výkonu. Tato sada může běžet na počítačích používajících Windows 10, macOS a Debian Linux (může také fungovat s Raspberry Pi).
Další specializované akcelerátory AI
Vzhledem k tomu, že umělá inteligence je v poslední dekádě v módě, Big Tech neustále hledá způsoby, jak strojové učení co nejrychlejší a nejefektivnější. Ačkoli jsou TPU společnosti Google pravděpodobně nejoblíbenějšími ASIC vyvinutými pro hluboké učení, další technologické společnosti jako Intel, Microsoft, Alibaba a Qualcomm také vyvinuly své vlastní akcelerátory AI. Patří mezi ně Microsoft Brainwave, Intel Neural Compute Stick a Graphicore's IPU (Intelligence Processing Unit).
Ale zatímco se vyvíjí další hardware AI, bohužel většina z nich ještě nebude na trhu dostupná a mnoho z nich nikdy nebude. V době psaní, pokud si opravdu chcete koupit hardware akcelerátoru AI, nejoblíbenějšími možnostmi jsou koupit prototypovou sadu Coral, Intel NCS, Graphicore Bow Pod nebo Asus IoT AI Accelerator. Pokud chcete pouze přístup ke specializovanému hardwaru s umělou inteligencí, můžete použít služby cloud computingu Google nebo jiné alternativy, jako je Microsoft Brainwave.
