Lors de l'achat de drones de lutte contre les incendies équipés de fonctions de reconnaissance de l'intelligence artificielle, comment dois-je tester la précision de la reconnaissance ?

Lorsque nous avons développé le logiciel SkyRover, nous savions que se fier uniquement aux brochures était dangereux biométrique ¹. La fumée et l'obscurité aveuglent souvent les capteurs standard, mettant votre mission et votre investissement en grave danger.

Vous devez exiger des ensembles de données de validation détaillant les conditions d'entraînement et effectuer des tests sur le terrain contrôlés Edge AI ². Vérifiez les paramètres d'isotherme spécifiques pour la pénétration de la fumée, mesurez la latence pour les alertes en temps réel et soumettez le système à des tests de résistance contre des sources de chaleur non liées au feu afin de minimiser les faux positifs avant de finaliser toute décision d'achat.

Pour garantir que votre flotte fonctionne lorsque des vies sont en jeu, suivez ces protocoles de test spécifiques.

Comment tester la capacité de l'IA à détecter des sources d'incendie à travers une fumée épaisse et l'obscurité ?

Lors de nos simulations de vol de nuit, nous avons constaté que les caméras standard échouaient instantanément dans une fumée dense. Se fier à des capteurs optiques non vérifiés laisse votre équipe aveugle lorsque la visibilité diminue.

Pour tester la pénétration de la fumée, évaluez les paramètres d'isotherme thermique du drone plutôt que les flux visuels. Planifiez des tests de vol pendant les périodes de “ croisement thermique ” à l'aube ou au crépuscule, et assurez-vous que la fusion de capteurs spécifique s'aligne avec précision pour identifier les signatures thermiques cachées derrière les obscurcissants visuels.

Lors de l'évaluation d'un grand quadricoptère pour la suppression des incendies, les supports marketing montrent souvent des flux vidéo d'une clarté cristalline. suppression des incendies ³ Cependant, les incendies du monde réel sont chaotiques, sombres et obscurcis par des particules particules ⁴ matter. Dans nos laboratoires d'ingénierie, nous avons constaté que les algorithmes d'IA entraînés principalement sur des images de plein jour échouent catastrophiquement lorsqu'ils sont introduits dans une fumée dense.

Pour tester cela rigoureusement, vous devez aller au-delà de la reconnaissance optique standard. Vous devez vérifier les paramètres d'isotherme. Une isotherme isole des plages de température spécifiques, les colorant vivement tout en grisonnant le reste. isotherme ⁵ Une caméra thermique générique montre un gradient, mais une IA spécifique à la lutte contre les incendies doit vous permettre de définir une température "seuil" (par exemple, >300°C) pour percer le bruit de la fumée, qui retient souvent la chaleur ambiante mais est plus froide que la source.

Le piège du "croisement thermique"

L'un des tests les plus critiques que vous puissiez effectuer se déroule pendant les périodes de "croisement thermique" le croisement thermique ⁶—généralement à l'aube et au crépuscule. À ces moments-là, la température ambiante du sol, des rochers et de la végétation correspond souvent à la température de certains objets cibles.

• Jour : Le soleil chauffe le sol, créant un encombrement thermique.
• Nuit : Le sol se refroidit, faisant ressortir les points chauds.
• Croisement : Le contraste disparaît.

Si le système de reconnaissance de l'IA repose uniquement sur le contraste de température sans analyse de forme sophistiquée ni fusion multispectrale, il ne parviendra pas à détecter les cibles pendant ces fenêtres. Vous devriez demander un vol de démonstration exactement au coucher du soleil pour voir si l'IA perd la trace de la source d'incendie lorsque la température de fond change.

Vérification de l'alignement de la fusion des capteurs

Les drones de lutte contre les incendies modernes utilisent la "fusion de capteurs", superposant des données thermiques sur un flux visuel. Fusion de capteurs ⁷ Cela fournit un contexte (visuel) avec des données (thermiques). Cependant, un point de défaillance courant que nous rencontrons dans les systèmes moins chers est L'erreur de parallaxe. Parce que l'objectif thermique et l'objectif optique sont physiquement séparés sur le cardan, les images peuvent être désalignées à différents niveaux de zoom.
Si l'IA détecte un incendie basé sur le capteur thermique mais superpose la boîte englobante sur le flux visuel de manière incorrecte, vos coordonnées seront erronées. Lorsque vous testez le drone, pointez-le vers une source de chaleur à 100 mètres et zoomez. Si la signature de chaleur brillante s'éloigne de l'objet physique à l'écran, l'alignement est médiocre et la génération de coordonnées pour votre équipe au sol sera inexacte.

Protocole de test : Fumée vs. Air clair

Utilisez le tableau suivant pour évaluer les performances du drone lors de vos essais sur le terrain.

Quels scénarios dois-je simuler pour m'assurer que le drone distingue les humains des autres objets ?

Notre équipe de codage passe des mois à régler les algorithmes pour ignorer les rochers chauffés. Si votre drone prend une voiture garée pour un survivant, vous perdez un temps de sauvetage précieux.

Simulez des scénarios contenant des sources de chaleur non humaines telles que des moteurs de véhicules en marche, de l'asphalte chauffé et de la faune. Mesurez le seuil de confiance de l'IA à des altitudes opérationnelles pour vous assurer qu'elle distingue avec précision les signatures thermiques humaines du bruit de fond environnemental sans déclencher d'alarmes intempestives excessives.

Dans les missions de recherche et de sauvetage (SAR) dans les zones d'incendie, le drone doit identifier les survivants souvent dissimulés Recherche et Sauvetage (SAR) ⁸ par la canopée ou la fumée. Un problème majeur que nous constatons avec les algorithmes importés est qu'ils sont souvent "sur-optimisés" pour la sensibilité. Cela signifie qu'ils signalent n'importe quoi le chaud comme un humain. Bien que cela garantisse que personne ne soit manqué, cela submerge l'opérateur de faux positifs, conduisant finalement à la "fatigue d'alerte" où le pilote ignore les avertissements.

Le problème des "taches" contre la reconnaissance squelettique

L'IA thermique de base recherche des "taches chaudes". L'IA avancée recherche des mouvements biométriques ou des formes squelettiques. Lorsque vous testez le drone, ne vous contentez pas de faire tenir une personne dans un champ ouvert. C'est trop facile.
Vous devez créer un Test de confusion. Placez une personne à côté de :

1. Un véhicule avec un moteur en marche (masse thermique similaire).
2. Une grosse roche chauffée ou une plaque d'asphalte (courant en été).
3. Un animal de taille moyenne (comme un chien) si possible.

Volez le drone à son altitude opérationnelle maximale (par exemple, 100 mètres). Un système générique encadrera probablement les trois cibles comme "Humain". Un système sophistiqué analysera le rapport d'aspect (les humains sont verticaux, les voitures sont horizontales) et le schéma de mouvement.

Test de la portée oblique et de l'angle

Un autre facteur critique est la Portée oblique—la distance diagonale entre le drone et la cible. La précision de la reconnaissance par IA se dégrade considérablement lorsque l'angle devient plus prononcé.

• Vue de dessus (Nadir) : Les humains ressemblent à de petits cercles (tête et épaules). C'est l'angle le plus difficile à reconnaître pour l'IA.
• Vue inclinée (45 degrés) : Les humains ressemblent à des silhouettes en mouvement. C'est plus facile pour l'IA.

Nous recommandons de tester le drone directement au-dessus. De nombreux algorithmes ont du mal avec la perspective "de dessus" car leurs ensembles de données d'entraînement se composent principalement d'images de vidéosurveillance prises sous un angle horizontal. Si le drone ne parvient pas à identifier un survivant en regardant droit vers le bas, il est inutile pour les recherches systématiques.

Calibration du seuil de confiance

Demandez au fournisseur si le "seuil de confiance" est réglable. Il s'agit d'un paramètre qui détermine à quel point l'IA doit être sûre avant de vous alerter.

• Seuil élevé (par exemple, 80 %) : Moins d'alertes, mais risque plus élevé de manquer un survivant (faux négatif).
• Seuil bas (par exemple, 40 %) : Aucun survivant manqué, mais alertes constantes pour les rochers et les cerfs (faux positif).

Un système de qualité professionnelle permet au pilote d'ajuster ce curseur en temps réel en fonction de la mission. Si vous recherchez dans une forêt dense, vous pourriez abaisser le seuil. Si vous recherchez dans une zone urbaine avec de nombreux objets chauds, vous l'augmentez.

Objets de test recommandés pour la vérification des survivants

Utilisez cette liste de contrôle pour vous assurer que l'IA est robuste contre les leurres courants.

Comment puis-je mesurer la vitesse de traitement des données en temps réel de l'IA pendant une mission ?

Nous concevons nos puces embarquées pour traiter les données localement. Si le drone dépend d'une connexion lente au cloud, votre carte tactique devient instantanément obsolète.

Mesurez la latence totale du système, en particulier le délai entre la détection d'un danger par l'IA et l'apparition de l'alerte sur votre station de contrôle au sol. Simulez une perte complète de la liaison de données pour vérifier que l'IA Edge embarquée continue de traiter et d'identifier les cibles localement.

En matière de lutte contre les incendies, chaque seconde compte. Un retard dans le flux vidéo ou la détection par IA peut faire la différence entre contenir un feu naissant et perdre le contrôle. Lorsque nous exportons des drones aux États-Unis, nous expliquons souvent la différence entre Edge AI et IA Cloud.

• IA Edge : Le traitement s'effectue sur l'ordinateur de vol du drone. C'est rapide et cela fonctionne sans internet.
• IA Cloud : La vidéo est envoyée à un serveur, traitée, et les résultats sont renvoyés. Cela introduit un décalage.

Pour les missions critiques, vous devriez presque toujours privilégier l'IA Edge. Cependant, même les systèmes embarqués ont une latence.

Mesurer la latence "de bout en bout"

Vous devez tester le Temps de latence. C'est le temps qu'il faut à un photon pour atteindre l'objectif de la caméra et pour que cette image (avec la boîte englobante de l'IA) apparaisse sur l'écran de votre contrôleur.
Comment tester :

1. Placez un chronomètre numérique sur une table.
2. Pointez la caméra du drone vers le chronomètre.
3. Filmez l'écran du contrôleur du drone avec votre smartphone au ralenti.
4. Comparez le temps affiché sur le chronomètre et le temps affiché sur le flux de l'écran du drone.
5. La différence correspond à votre latence.

Pour un vol tactique à haute vitesse, tout ce qui dépasse 150 millisecondes (ms) peut provoquer une oscillation du pilote (où vous corrigez trop car la vidéo est en retard). Pour les alertes de l'IA, si le drone vole à 15 mètres par seconde, un délai de traitement de 2 secondes signifie que le drone a parcouru 30 mètres au-delà de la cible avant même que vous ne voyiez l'alerte.

Simulation de perte de liaison de données

Un système robuste doit gérer la perte de signal. Les zones d'incendie ont souvent des interférences qui coupent la liaison vidéo.
Le test :
Pendant que le drone suit de manière autonome une ligne de feu ou recherche une grille, déconnectez l'antenne vidéo ou volez intentionnellement derrière un bâtiment pour rompre la liaison.
Attendez 30 secondes, puis reconnectez.
La question : L'IA a-t-elle continué à fonctionner ?

• Échec : Le drone a arrêté d'enregistrer des données lorsque la liaison s'est rompue.
• Réussite : Le drone a continué à scanner, à enregistrer les coordonnées des points chauds sur sa carte SD interne et à les télécharger automatiquement vers le contrôleur dès que la liaison a été rétablie.

Cette fonctionnalité est essentielle. Le drone est souvent votre "œil" dans des endroits où vous ne pouvez pas vous rendre. S'il arrête de "penser" simplement parce qu'il ne peut pas vous "parler", ce n'est pas un drone intelligent ; c'est juste une caméra télécommandée.

Normes de latence pour les drones de lutte contre les incendies

Quels repères devrais-je utiliser pour évaluer le taux de fausses alarmes du système ?

Nous avons rappelé une fois un lot parce que des reflets solaires avaient déclenché des alertes d'incendie. Des taux de fausses alarmes élevés désensibilisent les opérateurs, les amenant à ignorer les avertissements réels lors d'urgences réelles.

Évaluer le système en utilisant la Précision Précision et Rappel ⁹ et les métriques de Rappel plutôt que de simples pourcentages de précision. Effectuer des tests de résistance impliquant des surfaces réfléchissantes et des types de végétation variés pour déterminer le taux spécifique de faux positifs, en s'assurant que l'IA ne signale que les anomalies thermiques réelles comme des menaces exploitables.

Lorsque vous parlez à des représentants commerciaux, ils affirmeront souvent une "Précision de 99%". Dans notre secteur, ce chiffre n'a aucun sens sans contexte. Si un drone vole pendant une heure et ne voit rien (ce qui est correct car il n'y a pas d'incendie), il est précis à 100%. Mais cela ne vous dit pas s'il aurait vu un incendie.

Pour véritablement évaluer le système, vous devez comprendre et tester pour Précision et Rappel.

• Rappel (Sensibilité) : Sur 10 incendies réels, combien le drone en a-t-il trouvé ? (par exemple, il en a trouvé 9 sur 10. Le rappel est de 90 %).
• Précision : Sur 10 alertes envoyées par le drone, combien étaient de vrais incendies ? (par exemple, il a envoyé 20 alertes, mais seulement 10 étaient des incendies. La précision est de 50 %).

Dans la lutte contre les incendies, le rappel est plus important. Vous pouvez tolérer quelques fausses alarmes (faible précision) si cela signifie que vous ne manquez jamais un incendie (rappel élevé). Cependant, si la précision chute trop bas, le système devient agaçant et inutilisable.

Le test de stress "Réflexion"

Le plus grand ennemi de la détection optique d'incendie est l'éblouissement du soleil. La lumière du soleil se reflétant sur un toit en tôle, une route mouillée ou un bâtiment en verre peut ressembler exactement à une flamme pour un modèle d'IA de base (brillant, vacillant, jaunâtre).
Le test :
Faites voler le drone par une journée ensoleillée au-dessus d'une zone industrielle ou d'un parking.
Comptez combien de fois l'IA dessine une boîte "Feu" autour d'un pare-brise ou d'un toit métallique.
Un algorithme de haute qualité utilise une "analyse temporelle" : il observe l'objet pendant quelques secondes. Le feu vacille de manière chaotique ; un reflet est généralement stable ou se déplace de manière prévisible avec le vol du drone. Si l'IA alerte instantanément sur un reflet sans vérifier le mouvement, le logiciel est immature.

Validation de la végétation et du type de combustible

Un autre point de référence est la capacité du système à reconnaître votre type d'incendie local.
Nous avons vu des algorithmes entraînés sur des feux de forêt californiens (pins en feu et broussailles sèches) échouer complètement feux de forêt californiens ¹⁰ lorsqu'ils sont utilisés dans des incendies de produits chimiques industriels ou des feux de tourbières.

• Incendie de forêt : Hautes flammes, beaucoup de fumée.
• Incendie de tourbe : Sol incandescent, peu de flammes visibles, chaleur intense.
• Incendie chimique : Couleurs de fumée inhabituelles (vert/jaune), températures extrêmement élevées.

Si vous êtes un responsable des achats pour un service municipal, tester le drone sur des données d'incendie de forêt ne suffit pas. Vous devez demander au fabricant : " Ce modèle a-t-il été entraîné sur des incendies structurels et des brûlures chimiques ? " Si la réponse est non, les références fournies dans la brochure sont invalides pour votre cas d'utilisation spécifique.

Conclusion

Tester la précision de la reconnaissance par IA ne consiste pas à faire confiance à la fiche technique ; il s'agit de vérifier les performances dans le chaos du monde réel. En soumettant le système à une forte fumée, en le mettant à l'épreuve dans des conditions de croisement thermique, en mesurant les vitesses de traitement en périphérie et en comparant les taux de fausses alarmes par rapport aux surfaces réfléchissantes, vous vous assurez que le drone est un véritable atout. N'achetez pas seulement une caméra volante, investissez dans un partenaire intelligent et validé qui améliore la sécurité et l'efficacité de votre équipe.

Notes de bas de page

1. Organisme international de normalisation responsable de la normalisation dans le domaine de la biométrie. ︎

2. Leader de l'industrie définissant l'informatique Edge AI et ses applications. ︎

3. Organisation internationale de premier plan établissant des normes pour la sécurité et la suppression des incendies. ︎

4. Ressource gouvernementale officielle définissant les particules et leur impact environnemental. ︎

5. Explication technique de la technologie d'isotherme par un fabricant majeur de capteurs thermiques. ︎

6. Définition officielle du croisement thermique par le National Wildfire Coordinating Group. ︎

7. Aperçu général du concept de combinaison de données provenant de plusieurs capteurs. ︎

8. Ministère gouvernemental décrivant la technologie et les protocoles pour les missions SAR. ︎

9. Définitions statistiques standard utilisées pour évaluer la performance des algorithmes de reconnaissance de formes. ︎

10. Centre de recherche académique axé sur la science et la gestion des incendies en Californie. ︎