Note de recherche · Inférence
Pourquoi l'inférence en 8 bits change le temps réel sur les téléphones d'entrée de gamme
L'inférence en 8 bits fait tourner un réseau de neurones avec des entiers sur 8 bits au lieu de nombres en virgule flottante sur 32 bits. Sur un téléphone d'entrée de gamme, c'est souvent ce qui sépare le temps réel du diaporama : sur un Huawei FIG-LX1 2017, le modèle public MoveNet Lightning prend 38,6 ms par image en virgule flottante et 26,2 ms en 8 bits. Cette note explique pourquoi, et ce que coûte la technique.
Dernière mise à jour : Par l'équipe Movelytics
01Définition
Ce qu'est l'inférence en 8 bits
Un réseau de neurones entraîné est un ensemble de nombres, les poids, et une recette pour les combiner avec une entrée. Par défaut, chaque nombre est une valeur en virgule flottante sur 32 bits : précise, souple, et coûteuse à calculer.
L'inférence en 8 bits, qu'on appelle aussi inférence quantifiée ou int8, remplace ces valeurs par des entiers sur 8 bits. Chaque nombre peut prendre 256 niveaux au lieu de plusieurs milliards. Un facteur d'échelle, stocké avec chaque couche, permet de revenir des entiers aux grandeurs réelles.
Deux conséquences en découlent directement. Le fichier du modèle est environ quatre fois plus petit, puisque 8 bits en remplacent 32. Et les calculs deviennent des calculs sur des entiers, ce qu'un processeur fait de moins coûteux.
02Matériel
Pourquoi les processeurs d'entrée de gamme préfèrent les entiers
Un téléphone haut de gamme récent a le choix : un processeur graphique, un accélérateur neuronal dédié, des cœurs de processeur larges et rapides. Les modèles en virgule flottante tournent bien sur chacun d'eux.
Un téléphone d'entrée de gamme qui a quelques années n'a rien de tout cela sous une forme exploitable. Ses accélérateurs sont absents, ou présents mais inégaux d'un modèle à l'autre. Ce que tout téléphone possède, c'est un processeur généraliste à plusieurs cœurs. Sur ce processeur, trois effets s'additionnent en faveur du 8 bits :
- Plus de nombres par instruction. Les instructions du processeur qui traitent plusieurs valeurs à la fois contiennent quatre fois plus de valeurs sur 8 bits que de valeurs sur 32 bits.
- Moins d'allers-retours avec la mémoire. Un modèle quatre fois plus petit fait circuler quatre fois moins de données entre la mémoire et le processeur, et la lenteur de la mémoire est le coût caché des téléphones bon marché.
- Moins de chaleur. Moins de travail par image, c'est un téléphone qui met plus de temps à atteindre la température à laquelle le système ralentit le processeur.
C'est aussi pour cela que nous comptons sur le processeur plutôt que sur un accélérateur pour notre modèle léger : c'est le seul chemin qui existe sur tous les téléphones.
03Preuves
Ce que montre un modèle public
L'effet ne dépend pas de notre propre modèle. MoveNet Lightning est publié en virgule flottante et en 8 bits : le même réseau, deux fichiers. Nous avons fait tourner les deux sur un Huawei FIG-LX1 2017 (Android 9), 4 fils d'exécution.
Temps par image, modèle seul
Huawei FIG-LX1 2017 · Android 9 · 4 fils d'exécution · médiane sur 30 s · préliminaire
- PoseTracker Model 8 bits18,4ms
trois passes : 18,4 · 18,4 · 18,4
- MoveNet Lightning 8 bits26,2ms
trois passes : 26,2 · 26,2 · 26,2
- MoveNet Lightning flottant38,6ms
trois passes : 38,6 · 38,7 · 38,0
Plus c'est bas, mieux c'est
Seul, le fichier en virgule flottante prend 38,6 ms par image et le fichier en 8 bits 26,2 ms. Rien n'a changé, sauf le format des nombres.
Images par seconde avec la caméra
Huawei FIG-LX1 2017 · caméra à 30 img/s · 10 minutes · préliminaire
- PoseTracker Model 8 bits28,7img/s
fenêtre de 10 s la plus lente : 22,1 img/s
- MoveNet Lightning 8 bits21,4img/s
fenêtre de 10 s la plus lente : 18,1 img/s
- MoveNet Lightning flottant14,1img/s
fenêtre de 10 s la plus lente : 12,5 img/s
Plus c'est haut, mieux c'est
Avec la caméra, sur 10 minutes, le fichier en virgule flottante traite 14,1 images par seconde et le fichier en 8 bits 21,4. La caméra en fournit 30.
04Budget par image
Le budget par image, en une ligne de calcul
Une caméra à 30 images par seconde fournit une nouvelle image toutes les 33 millisecondes. C'est le budget : tout ce que l'app fait pour une image, modèle compris, doit y tenir, sinon des images sont perdues.
À 38,6 ms, le fichier en virgule flottante dépasse le budget avant même que la caméra, l'affichage et la logique propre de l'app aient pris leur part. À 26,2 ms, le fichier en 8 bits tient dans le budget quand il tourne seul, et n'y tient plus quand on ajoute le reste : il finit à 21,4 images par seconde. À 18,4 ms, il reste de la place pour le reste, et le résultat est de 28,7.
La leçon n'est pas qu'un chiffre est bon et l'autre mauvais. C'est que, sur cette catégorie de téléphones, le budget est si serré que le format des nombres décide de quel côté vous vous trouvez.
05Coût
Ce que cela coûte, et comment payer moins
Arrondir chaque nombre à 256 niveaux fait perdre de l'information. Pour un modèle de pose, le symptôme visible est le placement : une articulation est trouvée, mais un peu à côté. L'ampleur de la perte dépend de la façon dont le modèle a été fabriqué.
- Converti après coup
- Un modèle entraîné en virgule flottante puis converti à la fin peut perdre une part sensible de sa précision. La conversion est une étape avec perte, appliquée à un modèle qui n'y a jamais été préparé.
- Conçu pour cela
- Un modèle construit et entraîné en tenant compte de la contrainte des 8 bits garde l'essentiel de sa précision. Il apprend à donner de bons résultats avec les nombres dont il disposera vraiment.
La règle pratique est simple, et souvent ignorée : mesurez le fichier que vous livrez. Une précision annoncée pour la version en virgule flottante d'un modèle dit peu de chose de sa version en 8 bits, et une vitesse annoncée pour la version en 8 bits ne dit rien de la précision de la version en virgule flottante. Sur notre page des benchmarks, la précision et la vitesse de notre version sont mesurées sur le même fichier en 8 bits.
Ce que nous montrons ici a des limites. Un seul téléphone, un seul exemplaire. Les réglages du moteur d'exécution ont été choisis pour nos propres fichiers en 8 bits, ce qui a pu désavantager les fichiers publics. Et le coût en précision du 8 bits, modèle par modèle, n'est pas chiffré dans cette note.
06À retenir
Les questions à poser à un fournisseur
- La vitesse est-elle mesurée sur le fichier en 8 bits ou sur le fichier en virgule flottante ?
- La précision est-elle mesurée sur ce même fichier ?
- Sur quel téléphone, pendant combien de temps, caméra allumée ou éteinte ?
Nos propres réponses sont sur la page des benchmarks. La vue d'ensemble de notre façon de faire tourner les modèles sur l'appareil est sur la page technologie. Pour une comparaison des modèles de pose publics pensée pour les développeurs, voyez la page de PoseTracker sur MediaPipe et MoveNet.
07Pour aller plus loin
Pages liées
- PoseTracker ModelNotre propre modèle, conçu pour l'inférence en 8 bits.
- Rejoindre la bêta du modèleTestez-le sur vos propres téléphones.
- Pose en temps réel sur un Android d'entrée de gammeNote de recherche : le protocole complet.
- L'IA embarquée chez MovelyticsLa chaîne complète, de la caméra au comptage des répétitions.
Bêta privée
Mesurez-le sur les appareils que vos utilisateurs ont en main.
Le PoseTracker Model est en bêta privée.