Blog

May 25, 2023

Jetson obtient un boost de fusée : Mains

Cela fait six mois que Jensen Huang de NVIDIA est monté sur scène au GPU

Cela fait six mois que Jensen Huang de NVIDIA est monté sur scène lors de la GPU Technology Conference (GTC) '22 et a dévoilé le système sur module (SOM) Jetson Orin Nano haute performance et basse consommation, ciblant l'intelligence artificielle (IA) à le bord. Maintenant, c'est GTC '23 - et Huang est de retour sur scène, cette fois en lançant le kit de développement Jetson Orin Nano avec une disponibilité immédiate.

Offrant "80x" les performances du Jetson Nano, le nouveau Jetson Orin Nano est conçu pour amener l'architecture de processeur graphique (GPU) Orin de dernière génération de l'entreprise au niveau d'entrée - mais peut-il tenir les nobles promesses de l'entreprise ?

Le Jetson Orin Nano SOM est en fait disponible en deux saveurs, l'une étant effectivement la moitié des performances de l'autre. Le Jetson Orin Nano 4 Go d'entrée de gamme possède, comme son nom l'indique, 4 Go de mémoire LPDDR5 avec une bande passante de 32 Go / s, un processeur Arm Cortex-A78AE à six cœurs fonctionnant jusqu'à 1,5 GHz et un GPU Orin avec 512 cœurs CUDA et 16 cœurs Tensor offrant 20 téra-opérations par seconde (TOPS) revendiquées de calcul INT8. Le Jetson Orin Nano 8 Go, en revanche, double à la fois la capacité et la bande passante de la mémoire embarquée ainsi que le nombre de cœurs CUDA et de cœurs Tensor dans le GPU, mais laisse le CPU seul, offrant 40 TOPS réclamés.

Pour ceux qui cherchent à acheter le kit de développement, la différence est sans objet : il n'est disponible qu'avec le Jetson Orin Nano 8 Go pré-groupé. La carte de support, dans laquelle le SOM a été facilement préinstallé, acceptera techniquement soit le SOM, soit même l'un des SOM haut de gamme Jetson Orin NX - mais c'est également sans objet, car vous ne pouvez pas acheter la carte de support en dehors de l'offre groupée du kit de développement.

La carte de support compacte elle-même présente les caractéristiques les plus essentielles du Jetson Orin Nano SOM. Il y a une seule sortie vidéo DisplayPort 1.2, quatre ports USB 3.2 Gen. 2 Type-A, un port Ethernet gigabit et un port USB Type-C — pas pour l'alimentation, qui est gérée via un bloc d'alimentation de 45 W et une prise CC, mais pour le débogage et le fonctionnement du périphérique USB.

À gauche des ports principaux se trouvent deux ports MIPI Camera Serial Interface (CSI) à 22 broches, qui peuvent être utilisés à la place ou en plus des caméras USB. À droite se trouve un en-tête d'entrée/sortie à usage général (GPIO) à 40 broches qui inclut la prise en charge de l'UART, du SPI, de l'I2C, de l'I2S et de la modulation de largeur d'impulsion (PWM). Il existe également un en-tête à vitesse contrôlée PWM pour le dissipateur thermique et le ventilateur groupés, ainsi qu'un en-tête à 12 broches pour le contrôle des boutons externes - positionné un peu maladroitement sous le bord supérieur du SOM.

Retournez la carte et vous trouverez ses dernières options d'extension : un emplacement microSD presque invisible caché sous le bord supérieur du SOM, un emplacement M.2 Key E pré-rempli avec un module Wi-Fi 802.11ac et deux Emplacements M.2 Key M avec respectivement quatre et deux voies PCI Express (PCIe) Gen. 3 - mais notez que l'un est limité aux modules courts de taille 2230, l'autre offrant un point de montage pour les modules 2280 uniquement.

La grande affirmation de NVIDIA est que le Jetson Orin Nano offre "80 fois les performances de l'IA" par rapport au Jetson Nano plus ancien et considérablement moins cher - et c'est techniquement vrai, mais avec une grosse mise en garde. Les calculs de NVIDIA sont basés sur un calcul brut utilisant la précision FP16 sur le Jetson Nano mais la précision INT8 sur le Jetson Orin Nano. En utilisant la précision FP32 sur les deux appareils, pour des règles du jeu équitables, le gain passe de 80x à un 5,4x toujours impressionnant - bien que INT8-versus-FP16 soit toujours une comparaison raisonnable à faire, car la prise en charge de la précision INT8 sera une grande raison pour passer au nouvel appareil.

Cela ne veut pas dire qu'il n'y a pas d'amélioration par rapport à la prise en charge de l'INT8, cependant - après tout, ce gain de 5,4x FP32 doit provenir de quelque part. Outre le passage à une nouvelle architecture GPU plus puissante, le Jetson Orin Nano contient huit fois plus de cœurs CUDA que le Jetson Nano plus 32 cœurs Tensor pour faire bonne mesure. Le processeur est également passé à une architecture Arm Cortex plus récente, dispose de deux cœurs supplémentaires fonctionnant à une vitesse d'horloge légèrement plus rapide, et il y a le double de mémoire avec le passage à LPDDR5 offrant plus de deux fois et demie la bande passante.

En bref, le Jetson Orin Nano est une bête, mais quelques sacrifices ont été faits en cours de route. Comme le Jetson Nano, il n'y a pas d'accélérateurs d'apprentissage en profondeur NVIDIA (NVDLA) ou d'accélérateurs de vision programmables (PVA) dans les modèles NX et AGX haut de gamme. Curieusement, le Jetson Orin Nano manque également de l'encodeur vidéo matériel, NVENC, du Jetson Nano - un sacrifice fait, nous dit NVIDIA, afin de rendre l'architecture Orin disponible plus près du niveau d'entrée. En conséquence, le Jetson Orin Nano est incapable d'encoder un flux vidéo supérieur à 1080p30 en temps réel, bien que ses six cœurs de processeur puissants signifient qu'il peut gérer jusqu'à trois flux simultanément si nécessaire - contre jusqu'à huit flux 1080p30, ou un flux 4k60, sur le Jetson Nano par ailleurs beaucoup moins puissant.

Le véritable objectif du Jetson Orin Nano est, naturellement, sur l'IA de pointe sur l'appareil, et c'est ici que le SOM lourd en GPU brille. Des réseaux qui étaient totalement inutilisables sur le Jetson Nano, comme ActionRecognitionNet 3D et PeopleNet v2.5 de NVIDIA, deviennent soudainement utilisables : ActionRecognitionNet 3D passe d'une image par seconde (FPS) sur le Jetson Nano à 26 FPS sur le Jetson Orin Nano, avec le variante 2D allant de 32 FPS à 368 FPS ; BodyPoseNet passe de 3 FPS à 136 FPS ; et PeopleNet v2.5 passe de 2 FPS à 116 FPS. Un réseau de reconnaissance de plaque d'immatriculation (LPR) de référence, quant à lui, a été exclu du graphique ci-dessus car son passage de 47 FPS à plus de 1 000 FPS sur le nouveau matériel a faussé la mise à l'échelle.

Cela va d'un gain de performances de 12x à 59x - certains provenant des performances brutes du matériel, d'autres de sa prise en charge de la précision INT8. L'efficacité n'a pas été perdue non plus. Alors que le nouveau matériel peut nécessiter un refroidissement actif - fourni sous la forme d'un dissipateur thermique et d'un ventilateur étonnamment silencieux préinstallé sur le module - le Jetson Orin Nano 8 Go est configurable en modes pleine performance 15 W et puissance réduite 7 W, à partir du Modes 5W et 10W du Jetson Nano. Mesuré au mur, avec la carte porteuse connectée à un réseau Wi-Fi, un moniteur DisplayPort et un clavier et une souris sans fil, qui sort à 4 W en veille et environ 17 W en charge - bien dans les capacités de l'alimentation 45 W fournie.

Le Jetson Orin Nano est conçu pour exécuter JetPack, la pile logicielle embarquée de NVIDIA basée sur Ubuntu Linux et anciennement connue sous le nom de Linux 4 Tegra (L4T). Tous les tests de l'unité d'examen ont été effectués sur une version préliminaire de JetPack 5.1.1 avec quelques bogues mineurs - dont un qui limitait la mémoire système disponible à 6,3 Go sur les 8 Go physiques, ce que la société nous assure sera résolu dans un futur très proche.

JetPack 5.1.1 est basé sur Ubuntu 20.04.5 Long-Term Support (LTS) et est livré avec CUDA 11.4, TensorRT 8.5, cuDNN 8.6, VPI 2.2, Vulkan 1.3, Nsight Systems 2022.5 et Nsight Graphics 2022.6. Ce qu'il ne vient pas, même après toutes ces années, c'est un moyen de former des réseaux sur l'appareil. Bien qu'il soit possible de déployer même des réseaux complexes et de les exécuter sur le Jetson Orin Nano avec d'excellentes performances, toute formation doit avoir lieu hors appareil - un inconvénient majeur et permanent pour un appareil qui aurait facilement pu être un tout-en-un abordable poste de travail pour le développement et l'expérimentation de l'IA.

La façon typique de résoudre le problème consiste à utiliser un appareil de classe ordinateur de bureau doté de l'une des cartes graphiques hautes performances haute puissance de NVIDIA. Une alternative consiste à passer au cloud computing, y compris le propre GPU Cloud (NGC) de NVIDIA, en louant l'accès au matériel des autres afin d'éviter d'avoir à débourser par vous-même lorsqu'il peut simplement rester inactif entre les sessions de formation. Quoi qu'il en soit, le Jetson Orin Nano - comme tous les appareils de la famille Jetson - est soutenu par une pile logicielle impressionnante qui comprend la boîte à outils Train-Adapt-Optimize (TAO) pour accélérer la formation et le réplicateur Omniverse pour la génération d'ensembles de données synthétiques. Ceux qui optent pour l'exécution dans le cloud sur NGC peuvent même accéder à une multitude de modèles pré-formés, prêts à être déployés ou personnalisés.

Comme pour les autres modèles de la gamme Jetson, plus vous plongez dans le développement et les tests, plus tôt vous atteindrez les limites du stockage sur carte microSD. Il n'y a pas de prise en charge eMMC sur le Jetson Orin Nano, mais il y a deux emplacements M.2 Key M PCI Express (PCIe) sur le dessous de la carte porteuse - l'un ou les deux acceptant une mémoire express non volatile à grande vitesse ( NVMe) disque SSD pour un stockage haute capacité. Il y a aussi un troisième emplacement M.2 Key E, bien que celui-ci soit pré-rempli avec le module Wi-Fi connecté à une paire d'antennes PCB à un bord de la carte porteuse.

Le kit de développement Jetson Orin Nano est assurément un digne successeur du kit de développement Jetson Nano original. Même en regardant sur un pied d'égalité, c'est plusieurs fois plus rapide - et lorsque vous tenez compte du support INT8, cela offre un gain de performances qu'il faut voir pour le croire. Seule la perte de l'encodage vidéo matériel devrait donner lieu à une pause, mais à moins que vous n'ayez besoin de plus de 1080p30 ou de deux flux simultanés, vous pourrez probablement utiliser l'encodage logiciel.

Cette performance a un coût, littéralement. Le kit de développement Jetson Nano 4 Go a peut-être connu une hausse de prix, passant de 99 $ au lancement à 149 $ aujourd'hui, mais il reste beaucoup moins cher que les 499 $ auxquels NVIDIA a lancé le kit de développement Jetson Orin Nano. Il est facile de voir où va la différence de prix, étant donné cette augmentation majeure des performances, mais il faut que le suffixe Nano indique un produit convivial pour les fabricants avec un prix presque impulsif à une décision d'achat plus réfléchie pour quiconque sauf les entreprises bien financées types de recherche et développement.

Il y a, au moins, un rabais disponible pour les éducateurs - portant le prix du kit de 499 $ à 399 $. Même dans ce cas, il est probable que beaucoup opteront pour le kit de développement Jetson Nano moins cher, malgré le vaste différentiel de performances, car il fournit suffisamment de puissance de calcul pour présenter les concepts de base derrière l'IA de pointe sans se ruiner. Ceux qui ont besoin des meilleures performances, quant à eux, opteront probablement pour le kit de développement Jetson AGX Orin, plus puissant.

Si le budget s'étire, le kit de développement Jetson Orin Nano ne vous décevra pas. Pour ceux qui dépassent le matériel, il est également agréable d'avoir la possibilité de déposer un module Jetson Orin NX dans votre carte de support existante, même si ce serait encore mieux si NVIDIA offrait un ensemble à coût réduit avec la variante Jetson Orin Nano 4GB SOM .

Le kit de développement Jetson Orin Nano est désormais disponible à la commande via la boutique officielle Jetson à 499 $.