Przenoszenie TensorFlow na krawędź - tf2mplabh3 firmy Microchip Technology

Firma Microchip Technology dąży do uproszczenia procesu od tworzenia modelu uczenia maszynowego do wdrożenia w systemach wbudowanych. Dlatego udostępniony został tf2mplabh3, pakiet Pythona o otwartym kodzie źródłowym, który łączy TensorFlow i frameworki Microchip oparte na architekturze bare-metal.

Czym jest tf2mplabh3?

tf2mplabh3 to wrapper, który umożliwia programistom konwersję modeli TensorFlow 2.x do pliku modelu C zoptymalizowanego pod kątem bezproblemowej integracji z projektami MPLAB® X. Narzędzie to zostało zaprojektowane, aby pomóc inżynierom systemów wbudowanych w wykorzystaniu wstępnie wytrenowanych lub niestandardowych modeli TensorFlow i ich efektywnym wdrożeniu w szerokiej gamie mikrokontrolerów i mikrokontrolerów firmy Microchip.

Kluczowe cechy

• Konwersja modelu: Bezproblemowo konwertuje zapisany model TensorFlow do unikalnego pliku modelu C, który zawiera zarówno wagi modelu, jak i silnik wnioskowania.
• Elastyczna obsługa modeli: Obsługuje oryginalne modele float32 lub ich skwantyzowane odpowiedniki int8.
• Solidna spójność wyników: Zapewnia niezawodne wdrażanie modelu poprzez uzyskanie niemal identycznych wyników między oryginalnym modelem TensorFlow a skompilowanym, z pomijalnymi metrykami błędów i 100% zgodnością w przewidywaniach Top-1 i Top-5 na przykładzie MobileNet V2.

Dlaczego jest to ważne?

Wdrażanie modeli uczenia maszynowego na urządzeniach brzegowych - szczególnie w środowiskach o ograniczonych zasobach - jest skomplikowane. tf2mplabh3 eliminuje ten problem, abstrahując od przeszkód technicznych i ściśle dostosowując się do naszych narzędzi wbudowanych. Niezależnie od tego, czy pracujesz z małymi modelami ML na 8-bitowych mikrokontrolerach, czy korzystasz z bardziej zaawansowanych sieci neuronowych na 32-bitowych i 64-bitowych procesorach, to narzędzie przyspiesza wdrażanie sztucznej inteligencji na krawędzi sieci.

Optymalizacja czasu wnioskowania

Optymalizacja czasu wnioskowania ma kluczowe znaczenie dla rzeczywistych wbudowanych aplikacji AI. Wykorzystując kompilatory Microchip XC - takie jak XC32-gcc - wraz z tf2mplabh3, programiści mogą osiągnąć znaczną poprawę wydajności. Kompilator MPLAB XC32-gcc obsługuje zaawansowane funkcje, takie jak autowektoryzacja, która automatycznie optymalizuje kod, aby wykorzystać dostępne przyspieszenie sprzętowe.

Przykład: Mikroprocesory serii SAMA5D2

SAMA5D2 to energooszczędna linia 32-bitowych mikroprocesorów opartych na architekturze Arm® Cortex®-A5, dzięki czemu nadaje się do zastosowań zasilanych bateryjnie i o ograniczonych zasobach. Rdzeń Cortex-A5 został zbudowany w oparciu o architekturę ARMv7, która obejmuje rozszerzenie architektury Arm NEON™ – silnik wektoryzacji. Arm NEON umożliwia wydajne przetwarzanie równoległe danych, znacznie przyspieszając zadania wymagające dużej mocy obliczeniowej, takie jak wnioskowanie w uczeniu maszynowym.

Podczas wdrażania modelu TensorFlow przekonwertowanego za pomocą tf2mplabh3 i skompilowanego za pomocą MPLAB XC32-gcc, SAMA5D29 wykazał imponujące skrócenie czasu wnioskowania o 84%. Ten wzrost wydajności jest bezpośrednim wynikiem optymalizacji kompilatora, które w pełni wykorzystują możliwości silnika Arm NEON i innych urządzeń. Ten przykład podkreśla silną synergię między tf2mplabh3, sprzętem Microchip i pakietem kompilatorów MPLAB XC, co pozwala na wydajne wykorzystanie sztucznej inteligencji na brzegu sieci.

Źródło: Microchip Technology Inc. Tłumaczenie: Gamma Sp. z o.o.

Gamma Sp. z o.o. jest autoryzowanym dystrybutorem rozwiązań firmy Microchip Technology Inc. w Polsce. Zachęcamy do kontaktu z naszym działem handlowym.