عند شراء طائرات بدون طيار لمكافحة الحرائق مجهزة بميزات التعرف بالذكاء الاصطناعي، كيف يجب أن أختبر دقة التعرف الخاصة بها؟

عندما قمنا بتطوير برنامج SkyRover، علمنا أن الاعتماد فقط على الكتيبات أمر خطير القياسات الحيوية ¹. غالبًا ما يعمي الدخان والظلام المستشعرات القياسية، مما يعرض مهمتك واستثمارك لخطر جسيم.

يجب عليك طلب مجموعات بيانات التحقق التي تفصل ظروف التدريب وإجراء اختبارات ميدانية مضبوطة حافة الذكاء الاصطناعي ². تحقق من إعدادات العزل الحراري المحددة لاختراق الدخان، وقم بقياس زمن الاستجابة للتنبيهات في الوقت الفعلي، واختبر النظام بشكل مكثف ضد مصادر الحرارة غير الحريق لتقليل الإنذارات الكاذبة قبل الانتهاء من أي قرار شراء.

لضمان أداء أسطولك عندما تكون الأرواح على المحك، اتبع بروتوكولات الاختبار المحددة هذه.

كيف أختبر قدرة الذكاء الاصطناعي على اكتشاف مصادر الحرائق عبر الدخان الكثيف والظلام؟

خلال محاكاة رحلاتنا الليلية، وجدنا أن الكاميرات القياسية تفشل فورًا في الدخان الكثيف. الاعتماد على أجهزة الاستشعار البصرية غير المتحقق منها يترك فريقك أعمى عندما تنخفض الرؤية.

لاختبار اختراق الدخان، قم بتقييم إعدادات العزل الحراري للطائرة بدون طيار بدلاً من المشاهدات البصرية. قم بجدولة اختبارات الطيران خلال فترات “التقاطع الحراري” عند الفجر أو الغسق، وتأكد من أن دمج المستشعرات المحدد يتوافق بدقة لتحديد البصمات الحرارية المخفية خلف المعتمات البصرية.

عند تقييم طائرة رباعية كبيرة لقمع الحرائق، غالبًا ما تعرض المواد التسويقية لقطات فيديو واضحة تمامًا. قمع الحرائق ³ ومع ذلك، فإن الحرائق في العالم الحقيقي فوضوية ومظلمة وتحجبها الجسيمات الجسيمات ⁴ . في مختبراتنا الهندسية، رأينا أن خوارزميات الذكاء الاصطناعي المدربة بشكل أساسي على لقطات واضحة في ضوء النهار تفشل بشكل كارثي عند تقديمها إلى دخان كثيف.

لاختبار ذلك بدقة، يجب أن تنظر إلى ما هو أبعد من التعرف البصري القياسي. تحتاج إلى التحقق من معلمات العزل الحراري. يعزل العزل الحراري نطاقات درجة حرارة محددة، ويلونها ببراعة بينما يبهت كل شيء آخر. عزل حراري ⁵ تعرض الكاميرا الحرارية العامة تدرجًا، ولكن يجب أن يسمح لك الذكاء الاصطناعي المخصص لمكافحة الحرائق بتعيين درجة حرارة "أرضية" (على سبيل المثال، > 300 درجة مئوية) لاختراق ضوضاء الدخان، الذي غالبًا ما يحتفظ بالحرارة المحيطة ولكنه أبرد من المصدر.

فخ "التقاطع الحراري"

أحد أهم الاختبارات التي يمكنك إجراؤها هو خلال فترات "التقاطع الحراري" تقاطع حراري ⁶- عادةً عند الفجر والغسق. في هذه الأوقات، غالبًا ما تتطابق درجة الحرارة المحيطة للأرض والصخور والنباتات مع درجة حرارة بعض الأهداف.

• النهار: تسخن الشمس الأرض، مما يخلق تشويشًا حراريًا.
• الليل: تبرد الأرض، مما يجعل النقاط الساخنة تبرز.
• تقاطع: يختفي التباين.

إذا اعتمد نظام التعرف بالذكاء الاصطناعي بشكل بحت على تباين درجة الحرارة دون تحليل متطور للشكل أو دمج متعدد الأطياف، فسيفشل في اكتشاف الأهداف خلال هذه النوافذ. يجب عليك طلب رحلة تجريبية بالضبط عند غروب الشمس لمعرفة ما إذا كان الذكاء الاصطناعي يفقد تتبع مصدر الحريق مع تغير درجة حرارة الخلفية.

التحقق من محاذاة دمج المستشعرات

تستخدم طائرات مكافحة الحرائق الحديثة "دمج المستشعرات"، حيث تضع بيانات حرارية فوق بث مرئي. دمج أجهزة الاستشعار ⁷ يوفر هذا سياقًا (مرئيًا) مع بيانات (حرارية). ومع ذلك، فإن نقطة فشل شائعة نواجهها في الأنظمة الأرخص هي خطأ اختلاف المنظر. نظرًا لأن العدسة الحرارية والعدسة البصرية منفصلتان ماديًا على المثبت، يمكن أن تصبح الصور غير محاذية عند مستويات تكبير مختلفة.
إذا اكتشف الذكاء الاصطناعي حريقًا بناءً على المستشعر الحراري ولكنه وضع مربع التحديد بشكل غير صحيح على البث المرئي، فستكون إحداثياتك خاطئة. عند اختبار الطائرة بدون طيار، وجهها نحو مصدر حرارة على بعد 100 متر وقم بالتكبير. إذا ابتعد توقيع الحرارة المتوهج عن الجسم المادي على الشاشة، فإن المحاذاة ضعيفة، وسيكون إنشاء الإحداثيات لفريقك الأرضي غير دقيق.

بروتوكول الاختبار: دخان مقابل هواء صافٍ

استخدم الجدول التالي لتقييم أداء الطائرة بدون طيار أثناء تجاربك الميدانية.

ما هي السيناريوهات التي يجب أن أقوم بمحاكاتها لضمان تمييز الطائرة بدون طيار للبشر عن الأشياء الأخرى؟

يقضي فريق الترميز لدينا شهورًا في ضبط الخوارزميات لتجاهل الصخور الساخنة. إذا أخطأت طائرتك بدون طيار في اعتبار سيارة متوقفة ناجيًا، فإنك تهدر وقتًا حرجًا في الإنقاذ.

قم بمحاكاة سيناريوهات تحتوي على مصادر حرارة غير بشرية مثل محركات المركبات قيد التشغيل، والأسفلت الساخن، والحياة البرية. قم بقياس عتبة ثقة الذكاء الاصطناعي على ارتفاعات تشغيلية لضمان أنه يميز بدقة بين التوقيعات الحرارية البشرية وضوضاء الخلفية البيئية دون إطلاق إنذارات خاطئة مفرطة.

في مهام البحث والإنقاذ (SAR) داخل مناطق الحرائق، يجب على الطائرة بدون طيار تحديد الناجين الذين غالبًا ما يكونون محجوبين البحث والإنقاذ (SAR) ⁸ بواسطة المظلة أو الدخان. المشكلة الرئيسية التي نراها مع الخوارزميات المستوردة هي أنها غالبًا ما تكون "مضبوطة بشكل مفرط" للحساسية. هذا يعني أنها تشير إلى أي شيء دافئ كإنسان. في حين أن هذا يضمن عدم تفويت أي شخص، إلا أنه يغمر المشغل بإيجابيات خاطئة، مما يؤدي في النهاية إلى "إرهاق التنبيه" حيث يتجاهل الطيار التحذيرات.

مشكلة "الكتلة" مقابل التعرف على الهيكل العظمي

يبحث الذكاء الاصطناعي الحراري الأساسي عن "كتل ساخنة". يبحث الذكاء الاصطناعي المتقدم عن حركة بيومترية أو أشكال هيكلية. عند اختبار الطائرة بدون طيار، لا تجعل شخصًا يقف في حقل مفتوح. هذا سهل للغاية.
تحتاج إلى إنشاء اختبار الارتباك. ضع شخصًا بجوار:

1. مركبة بمحرك قيد التشغيل (كتلة حرارية مماثلة).
2. صخرة كبيرة مسخنة أو بقعة أسفلت (شائعة في الصيف).
3. حيوان متوسط الحجم (مثل كلب) إن أمكن.

قم بتشغيل الطائرة بدون طيار على أقصى ارتفاع تشغيلي لها (على سبيل المثال، 100 متر). من المحتمل أن يقوم نظام عام بتحديد جميع الأهداف الثلاثة كـ "إنسان". سيقوم نظام متطور بتحليل نسبة العرض إلى الارتفاع (البشر عموديون، السيارات أفقية) ونمط الحركة.

اختبار المدى المائل والزاوية

عامل حاسم آخر هو المدى المائل—المسافة القطرية من الطائرة بدون طيار إلى الهدف. تقل دقة التعرف على الذكاء الاصطناعي بشكل كبير مع زيادة حدة الزاوية.

• منظر علوي (نظير): يبدو البشر كدوائر صغيرة (رأس وكتفين). هذه هي أصعب زاوية للذكاء الاصطناعي للتعرف عليها.
• منظر مائل (45 درجة): يبدو البشر كشخصيات ماشية. هذا أسهل للذكاء الاصطناعي.

نوصي باختبار الطائرة بدون طيار مباشرة فوق الرأس. تعاني العديد من الخوارزميات من منظور "من الأعلى إلى الأسفل" لأن مجموعات بيانات التدريب الخاصة بها تتكون بشكل أساسي من لقطات كاميرات المراقبة المأخوذة من زاوية أفقية. إذا لم تتمكن الطائرة بدون طيار من تحديد ناجٍ أثناء النظر مباشرة إلى الأسفل، فهي عديمة الفائدة لعمليات البحث الشبكي.

معايرة عتبة الثقة

اسأل البائع عما إذا كانت "عتبة الثقة" قابلة للتعديل. هذا إعداد يحدد مدى تأكد الذكاء الاصطناعي قبل أن ينبهك.

• عتبة عالية (على سبيل المثال، 80٪): تنبيهات أقل، ولكن خطر أكبر لفقدان ناجٍ (سلبي خاطئ).
• عتبة منخفضة (على سبيل المثال، 40%): لم يتم تفويت أي ناجين، ولكن تنبيهات مستمرة للصخور والغزلان (إيجابي خاطئ).

يسمح النظام الاحترافي للطيار بضبط هذا المنزلق في الوقت الفعلي بناءً على المهمة. إذا كنت تبحث في غابة كثيفة، فقد تخفض العتبة. إذا كنت تبحث في منطقة حضرية بها العديد من الأجسام الساخنة، فإنك ترفعها.

كائنات اختبار موصى بها للتحقق من الناجين

استخدم هذه القائمة للتأكد من أن الذكاء الاصطناعي قوي ضد الطعوم الشائعة.

كيف يمكنني قياس سرعة معالجة البيانات في الوقت الفعلي للذكاء الاصطناعي أثناء المهمة؟

نقوم بتصميم شرائحنا المدمجة لمعالجة البيانات محليًا. إذا اعتمدت الطائرة بدون طيار على اتصال بطيء بالسحابة، فإن خريطتك التكتيكية تصبح قديمة على الفور.

قم بقياس زمن الاستجابة الكلي للنظام، وتحديدًا التأخير الزمني بين اكتشاف الذكاء الاصطناعي للخطر وظهور التنبيه على محطة التحكم الأرضية الخاصة بك. قم بمحاكاة فقدان كامل لرابط البيانات للتحقق من أن الذكاء الاصطناعي المدمج على متن الطائرة يواصل معالجة وتصنيف الأهداف محليًا.

في مكافحة الحرائق، الثواني مهمة. يمكن أن يعني التأخير في بث الفيديو أو اكتشاف الذكاء الاصطناعي الفرق بين احتواء حريق صغير وفقدان السيطرة. عندما نصدر طائرات بدون طيار إلى الولايات المتحدة، غالبًا ما نشرح الفرق بين حافة الذكاء الاصطناعي و الذكاء الاصطناعي السحابي.

• الذكاء الاصطناعي الطرفي: تحدث المعالجة على كمبيوتر الطيران الخاص بالطائرة بدون طيار. إنها سريعة وتعمل بدون إنترنت.
• الذكاء الاصطناعي السحابي: يتم إرسال الفيديو إلى خادم، ومعالجته، وإعادة إرسال النتائج. هذا يسبب تأخيرًا.

للمهام الحرجة، يجب عليك دائمًا إعطاء الأولوية للذكاء الاصطناعي على الحافة. ومع ذلك، حتى الأنظمة الموجودة على متن الطائرة لديها زمن انتقال.

قياس زمن الانتقال "من الزجاج إلى الزجاج"

تحتاج إلى اختبار الكمون. هذا هو الوقت الذي يستغرقه الفوتون للوصول إلى عدسة الكاميرا وظهور تلك الصورة (مع مربع الذكاء الاصطناعي المحيط) على شاشة وحدة التحكم الخاصة بك.
كيفية الاختبار:

1. قم بإعداد ساعة توقيت رقمية على طاولة.
2. وجه كاميرا الطائرة بدون طيار نحو ساعة التوقيت.
3. قم بتصوير شاشة وحدة التحكم الخاصة بالطائرة بدون طيار بهاتفك الذكي بحركة بطيئة.
4. قارن الوقت المعروض على ساعة التوقيت مقابل الوقت المعروض على تغذية شاشة الطائرة بدون طيار.
5. الفرق هو زمن الانتقال الخاص بك.

للطيران التكتيكي عالي السرعة، أي شيء يزيد عن 150 مللي ثانية (مللي ثانية) يمكن أن يسبب تذبذب الطيار (حيث تقوم بالتصحيح الزائد لأن الفيديو متأخر). بالنسبة لتنبيهات الذكاء الاصطناعي، إذا كانت الطائرة بدون طيار تطير بسرعة 15 مترًا في الثانية، فإن تأخير المعالجة لمدة ثانيتين يعني أن الطائرة بدون طيار قد سافرت 30 مترًا بعد الهدف قبل أن ترى التنبيه.

محاكاة فقدان رابط البيانات

يجب أن يتعامل النظام القوي مع فقدان الإشارة. غالبًا ما تحتوي مناطق الحرائق على تداخل يقطع رابط الفيديو.
The Test:
أثناء تتبع الطائرة بدون طيار لخط الحريق بشكل مستقل أو البحث في شبكة، افصل هوائي الفيديو أو قم بتوجيهها عمدًا خلف مبنى لقطع الاتصال.
انتظر 30 ثانية، ثم أعد الاتصال.
السؤال: هل استمر الذكاء الاصطناعي في العمل؟

• فشل: توقفت الطائرة بدون طيار عن تسجيل البيانات عندما انقطع الاتصال.
• اجتاز: استمرت الطائرة بدون طيار في المسح، وتسجيل إحداثيات النقاط الساخنة على بطاقة SD الداخلية الخاصة بها، وتحميلها تلقائيًا إلى وحدة التحكم في اللحظة التي تمت فيها إعادة تأسيس الاتصال.

هذه الميزة حيوية. غالبًا ما تكون الطائرة بدون طيار هي "عينك" في الأماكن التي لا يمكنك الوصول إليها. إذا توقفت عن "التفكير" لمجرد أنها لا تستطيع "التحدث" إليك، فهي ليست طائرة بدون طيار ذكية؛ إنها مجرد كاميرا يتم التحكم فيها عن بعد.

معايير زمن الاستجابة للطائرات بدون طيار لمكافحة الحرائق

ما هي المعايير التي يجب أن أستخدمها لتقييم معدل الإنذارات الكاذبة للنظام؟

لقد قمنا ذات مرة بسحب دفعة بسبب انعكاسات الشمس التي أدت إلى تشغيل تنبيهات الحريق. معدلات الإنذارات الكاذبة المرتفعة تقلل من حساسية المشغلين، مما يدفعهم إلى تجاهل التحذيرات الحقيقية أثناء حالات الطوارئ الفعلية.

قم بتقييم النظام باستخدام الدقة الدقة والاستدعاء ⁹ ومقاييس الاستدعاء بدلاً من نسب الدقة البسيطة. قم بإجراء اختبارات إجهاد تتضمن الأسطح العاكسة وأنواع الغطاء النباتي المتغيرة لتحديد معدل الإيجابيات الخاطئة المحدد، مع ضمان أن الذكاء الاصطناعي يحدد فقط الشذوذات الحرارية الحقيقية كتهديدات قابلة للتنفيذ.

عندما تتحدث إلى ممثلي المبيعات، غالبًا ما يدعون "دقة 99%". في صناعتنا، هذا الرقم لا معنى له بدون سياق. إذا حلقت طائرة بدون طيار لمدة ساعة ولم تر شيئًا (وهو أمر صحيح لأنه لا يوجد حريق)، فهي دقيقة بنسبة 100%. لكن هذا لا يخبرك ما إذا كان قد قد رأى حريقًا.

لتقييم النظام حقًا، تحتاج إلى فهم واختبار الدقة و الاستدعاء.

• الاستدعاء (الحساسية): من بين 10 حرائق فعلية، كم عددها التي وجدتها الطائرة بدون طيار؟ (على سبيل المثال، وجدت 9 من أصل 10. الاستدعاء هو 90%).
• الدقة: من بين 10 تنبيهات أرسلتها الطائرة بدون طيار، كم عددها كانت حرائق فعلية؟ (على سبيل المثال، أرسلت 20 تنبيهًا، لكن 10 فقط كانت حرائق. الدقة هي 50%).

في مكافحة الحرائق،, الاستدعاء أكثر أهمية. يمكنك تحمل عدد قليل من الإنذارات الكاذبة (دقة منخفضة) إذا كان ذلك يعني أنك لا تفوت حريقًا أبدًا (استدعاء عالٍ). ومع ذلك، إذا انخفضت الدقة إلى مستوى منخفض جدًا، يصبح النظام مزعجًا وغير قابل للاستخدام.

اختبار إجهاد "الانعكاس"

أكبر عدو للكشف البصري عن الحرائق هو وهج الشمس. يمكن لأشعة الشمس المنعكسة عن سقف من الصفيح أو طريق مبلل أو مبنى زجاجي أن تبدو تمامًا مثل اللهب لنموذج ذكاء اصطناعي أساسي (ساطع، وامض، مصفر).
The Test:
قم بتشغيل الطائرة بدون طيار في يوم مشمس ساطع فوق منطقة صناعية أو موقف سيارات.
احسب عدد المرات التي يرسم فيها الذكاء الاصطناعي مربع "حريق" حول زجاج أمامي أو سقف معدني.
تستخدم الخوارزمية عالية الجودة "التحليل الزمني" - فهي تراقب الكائن لبضع ثوانٍ. يرتعش الحريق بشكل فوضوي؛ الانعكاس عادة ما يكون ثابتًا أو يتحرك بشكل يمكن التنبؤ به مع رحلة الطائرة بدون طيار. إذا نبه الذكاء الاصطناعي على الفور عند انعكاس دون التحقق من الحركة، فإن البرنامج غير ناضج.

التحقق من نوع الغطاء النباتي والوقود

معيار آخر هو قدرة النظام على التعرف على الخاص بك نوع الحريق المحلي.
لقد رأينا خوارزميات تم تدريبها على حرائق الغابات في كاليفورنيا (حرق الصنوبر والشجيرات الجافة) تفشل تمامًا حرائق الغابات في كاليفورنيا ¹⁰ عند استخدامها في حرائق المواد الكيميائية الصناعية أو حرائق مستنقعات الخث.

• حريق الغابات: لهب عالٍ، الكثير من الدخان.
• حريق الخث: أرض متفحمة، لهب مرئي قليل، حرارة عالية.
• حريق كيميائي: ألوان دخان غير عادية (أخضر/أصفر)، درجات حرارة عالية للغاية.

إذا كنت مدير مشتريات لقسم في المدينة، فإن اختبار الطائرة بدون طيار على بيانات الغابات لا يكفي. يجب أن تسأل الشركة المصنعة: "هل تم تدريب هذا النموذج على حرائق المباني وحروق المواد الكيميائية؟" إذا كانت الإجابة لا، فإن المعايير المرجعية المقدمة في الكتيب غير صالحة لحالة الاستخدام الخاصة بك.

الخاتمة

لا يتعلق اختبار دقة التعرف على الذكاء الاصطناعي بالثقة في ورقة المواصفات؛ بل يتعلق بالتحقق من الأداء في فوضى العالم الحقيقي. من خلال الضغط على النظام بالدخان الكثيف، وتحديه بظروف التقاطع الحراري، وقياس سرعات المعالجة الطرفية، وقياس معدلات الإنذار الكاذب مقابل الأسطح العاكسة، فإنك تضمن أن الطائرة بدون طيار هي أصل حقيقي. لا تشترِ مجرد كاميرا طائرة - استثمر في شريك ذكي وموثق يعزز سلامة فريقك وكفاءته.

الحواشي

1. هيئة المعايير الدولية المسؤولة عن التقييس في مجال القياسات الحيوية. ︎

2. رائدة الصناعة في تعريف حوسبة الذكاء الاصطناعي الطرفية وتطبيقاتها. ︎

3. منظمة دولية رائدة تضع معايير السلامة من الحرائق وإخمادها. ︎

4. مورد حكومي رسمي يحدد الجسيمات الدقيقة وتأثيرها البيئي. ︎

5. شرح تقني لتقنية العزل الحراري من شركة مصنعة رئيسية لأجهزة الاستشعار الحرارية. ︎

6. تعريف رسمي للتقاطع الحراري من المجموعة الوطنية لتنسيق حرائق الغابات. ︎

7. نظرة عامة عامة على مفهوم الجمع بين البيانات من أجهزة استشعار متعددة. ︎

8. قسم حكومي يوضح التكنولوجيا والبروتوكولات لمهام البحث والإنقاذ. ︎

9. تعريفات إحصائية قياسية تستخدم لتقييم أداء خوارزميات التعرف على الأنماط. ︎

10. مركز أبحاث أكاديمي يركز على علوم الحرائق وإدارتها في كاليفورنيا. ︎