Dronă autonomă cu cameră cu infraroșu pentru asistarea primilor respondenți: 7 pași

2024 Autor: John Day | [email protected]. Modificat ultima dată: 2024-01-30 11:43

Potrivit unui raport al Organizației Mondiale a Sănătății, în fiecare an dezastrele naturale ucid în jur de 90 000 de oameni și afectează aproape 160 de milioane de oameni din întreaga lume. Dezastrele naturale includ cutremure, tsunami, erupții vulcanice, alunecări de teren, uragane, inundații, incendii, valuri de căldură și secete. Timpul este esențial, deoarece șansa de supraviețuire începe să scadă cu fiecare minut care trece. Primii respondenți pot avea probleme cu localizarea supraviețuitorilor în case deteriorate și care își pun viața în pericol în timp ce îi caută. Având un sistem care să poată localiza de la distanță oamenii ar crește foarte mult viteza cu care primii care răspund pot fi evacuați din clădiri. După cercetarea altor sisteme, am constatat că unele companii au creat roboți care se bazează pe teren sau au creat drone care pot urmări oamenii, dar funcționează doar în afara clădirilor. Combinația de camere de adâncime împreună cu camere speciale cu infraroșu poate permite urmărirea precisă a zonei interioare și detectarea schimbărilor de temperatură reprezentând foc, oameni și animale. Prin implementarea senzorilor cu un algoritm personalizat pe un vehicul aerian fără pilot (UAV), va fi posibilă inspecția autonomă a caselor și identificarea locației oamenilor și animalelor pentru a le salva cât mai repede posibil.

Vă rog să mă votați la concursul de optică!

Pasul 1: Cerințe de proiectare

După ce am cercetat tehnologiile disponibile, am discutat despre soluții posibile cu experți în viziune automată și cu un prim intervenient pentru a găsi cea mai bună metodă de detectare a supraviețuitorilor în zone periculoase. Informațiile de mai jos enumeră cele mai importante caracteristici necesare și elemente de proiectare pentru sistem.

• Procesarea viziunii - Sistemul trebuie să ofere o viteză de procesare rapidă pentru informațiile schimbate între senzori și răspunsul de inteligență artificială (AI). De exemplu, sistemul trebuie să fie capabil să detecteze ziduri și obstacole pentru a le evita, găsind în același timp persoane care sunt în pericol.
• Autonom - Sistemul trebuie să poată funcționa fără intrarea unui utilizator sau a unui operator. Personalul cu o experiență minimă în tehnologia UAV ar trebui să poată apăsa unul sau câteva butoane pentru ca sistemul să înceapă scanarea de la sine.
• Gama - Gama este distanța dintre sistem și toate celelalte obiecte din apropiere. Sistemul ar trebui să poată detecta holurile și intrările de la cel puțin 5 metri distanță. Gama minimă ideală este de 0,25 m, astfel încât să poată fi detectate obiecte apropiate. Cu cât intervalul de detectare este mai mare, cu atât este mai scurt timpul de detectare pentru supraviețuitori.
• Precizie de navigare și detecție - Sistemul ar trebui să fie capabil să găsească cu precizie toate intrările și să nu lovească niciun obiect, detectând în același timp apariția bruscă a obiectelor. Sistemul trebuie să poată găsi diferența dintre oameni și obiecte non-vii prin intermediul diferiților senzori.
• Durata de funcționare - Sistemul ar trebui să poată dura 10 minute sau mai mult, în funcție de numărul de camere pe care trebuie să le scaneze.
• Viteză - ar trebui să poată scana întreaga clădire în mai puțin de 10 minute.

Pasul 2: Selectarea echipamentului: Metoda de mobilitate

Quadcopterul a fost ales peste o mașină cu telecomandă, deoarece, deși quadcopterul este fragil, este mai ușor de controlat și schimbat în înălțime pentru a evita obstacolele. Quadcopterul poate ține toți senzorii și îi poate stabiliza astfel încât să fie mai exacți în timp ce se deplasează în camere diferite. Elicele sunt fabricate din fibră de carbon rezistentă la căldură. Senzorii se îndepărtează de pereți pentru a preveni accidentele.

• Vehicul terestru cu telecomandă

  • Pro - Se poate mișca rapid fără a cădea și nu este afectat de temperatură
  • Contra - Vehiculul ar pune senzorii jos la sol acoperind mai puțină zonă la un moment dat și poate fi blocat de obstacole

• Quadcopter

  • Pro - Ridică senzorii în aer pentru a obține o vizualizare 360 a împrejurimilor
  • Contra - Dacă intră într-un perete, poate cădea și nu se poate recupera

Pasul 3: Selectarea echipamentului: microcontrolere

Principalele două cerințe pentru microcontrolere sunt dimensiunile reduse pentru a reduce sarcina utilă pe quadcopter și viteza de procesare rapidă a informațiilor introduse. Combinația dintre Rock64 și DJI Naza este combinația perfectă de microcontrolere, deoarece Rock64 are o putere de procesare suficientă pentru a detecta rapid oamenii și a împiedica quadcopterul să intre în pereți și obstacole. DJI Naza îl complimentează bine făcând toate stabilizările și controlul motorului pe care Rock64 nu le poate face. Microcontrolerele comunică printr-un port serial și permit controlul utilizatorului dacă este necesar. Raspberry Pi ar fi fost o alternativă bună, dar din moment ce Rock64 avea un procesor mai bun și o conectivitate mai bună la senzorii enumerați în tabelul următor, Pi nu a fost selectat. Intel Edison și Pixhawk nu au fost selectate din cauza lipsei de suport și conectivitate.

• Raspberry Pi

  • Pro - Poate detecta pereți și obiecte fixe
  • Contra - Luptă pentru a ține pasul cu datele de la toți senzorii, astfel încât să nu poată vedea intrările suficient de repede. Nu pot emite semnale ale motorului și nu are senzori de stabilizare pentru quadcopter

• Rock64

  • Pro - Capabil să detecteze pereții și intrările cu o latență redusă.
  • Contra - De asemenea, capabil să ghideze sistemul în întreaga casă, fără să lovească nimic folosind toți senzorii. Nu poate trimite semnale suficient de rapid pentru a controla viteza motorului și nu are senzori stabilizatori pentru quadcopter

• Intel Edison

  • Pro - Capabil să detecteze pereții și intrările cu ceva întârziere
  • Contra - Tehnologie mai veche, mulți senzori ar avea nevoie de biblioteci noi, care necesită mult timp pentru a crea
• DJI Naza
  • Pro - Are giroscop, accelerometru și magnetometru integrate, pentru a permite quadcopterului să fie stabil în aer, cu micro reglări la viteza motorului.
  • Contra - Nu se poate face niciun fel de procesare a vederii

• Pixhawk

  • Pro - Compact și compatibil cu senzorii utilizați în proiect utilizând ieșirea de intrare generală (GPIO)
  • Contra - Nu se poate face niciun fel de procesare a vederii

Pasul 4: Selectarea echipamentului: senzori

O combinație de mai mulți senzori este utilizată pentru a obține toate informațiile necesare pentru a găsi oameni în zone periculoase. Cei doi senzori principali selectați includ camera stereo cu infraroșu alături de SOund Navigation And Ranging (SONAR). După câteva testări, am decis să folosesc camera Realsense D435 deoarece este mică și este capabilă să urmărească cu precizie distanțe de până la 20 de metri distanță. Acesta rulează la 90 de cadre pe secundă, ceea ce permite efectuarea mai multor măsurători înainte de a lua o decizie cu privire la locul în care se află obiectele și în ce direcție să indice quadcopterul. Senzorii SONAR sunt amplasați în partea de sus și de jos a sistemului pentru a permite quadcopterului să știe cât de sus sau de jos este permis să meargă înainte de a intra în contact cu o suprafață. Există, de asemenea, unul amplasat cu fața în față pentru a permite sistemului să detecteze obiecte precum sticla pe care senzorul stereo al camerei cu infraroșu nu le poate detecta. Oamenii și animalele sunt detectate folosind algoritmi de mișcare și recunoaștere a obiectelor. Camera FLIR va fi implementată pentru a ajuta camera stereo cu infraroșu să urmărească ceea ce trăiește și ce nu crește eficiența scanării în condiții nefavorabile.

• Kinect V1

  • Pro - Poate urmări cu ușurință obiecte 3D până la 6 metri distanță
  • Contra-Are doar 1 senzor infraroșu și este prea greu pentru quadcopter

• Realsense D435

  • Pro - Are 2 camere cu infraroșu și o cameră roșie, verde, albastră, de adâncime (RGB-D) pentru detectarea obiectelor 3D de înaltă precizie până la 25 de metri distanță. Are o lățime de 6 cm, permițând o potrivire ușoară în quadcopter
  • Contra - Se poate încălzi și poate avea nevoie de un ventilator de răcire

• LIDAR

  • Pro - Fascicul care poate urmări locațiile de până la 40 de metri distanță în linia sa vizuală
  • Contra - Căldura din mediu poate afecta precizia măsurării

• SONAR

  • Pro - Fascicul care poate urmări la 15 m distanță, dar este capabil să detecteze obiecte transparente precum sticla și acrilul
  • Contra - Numai punctele dintr-o linie de vedere, dar pot fi deplasate de către quadcopter pentru a scana zona

• Cu ultrasunete

  • Pro - Are o rază de acțiune de până la 3 m și este foarte ieftin
  • Contra - Numai punctele dintr-o singură linie de vedere și pot fi foarte ușor în afara distanței de detectare a distanței

• Camera FLIR

  • Pro - Capabil să facă fotografii de profunzime prin fum fără interferențe și poate detecta persoanele vii prin semnături de căldură
  • Contra - Dacă ceva interferează cu senzorii, calculele distanței pot fi calculate incorect

• Senzor PIR

  • Pro - Capabil să detecteze schimbarea temperaturii
  • Contra - Nu se poate identifica unde este diferența de temperatură

Pasul 5: Selectarea echipamentului: Software

Am folosit Realsense SDK alături de Robot Operating System (ROS) pentru a crea o integrare perfectă între toți senzorii cu microcontrolerul. SDK-ul a furnizat un flux constant de date din norul de puncte, care a fost ideal pentru urmărirea tuturor obiectelor și a limitelor quadcopterului. ROS m-a ajutat să trimit toate datele senzorilor către programul pe care l-am creat, care implementează inteligența artificială. AI constă din algoritmi de detectare a obiectelor și algoritmi de detectare a mișcării care permit quadcopterului să găsească mișcare în mediul său. Controlerul utilizează modularea lățimii pulsului (PWM) pentru a controla poziția quadcopterului.

• Freenect

  • Pro - Are un nivel mai redus de acces pentru controlul tuturor
  • Contra - Suportă numai Kinect V1

• SDK Realsense

  • Pro - Poate crea cu ușurință datele din norul de puncte din fluxul de informații de la camera Realsense
  • Contra - Suportă doar camera Realsense D435

• Driver FLIR Linux

  • Pro - Poate prelua fluxul de date de pe camera FLIR
  • Contra - Documentația este foarte limitată

• Sistem de operare robot (ROS)

  • Pro - Sistem de operare ideal pentru programarea funcțiilor camerei
  • Contra - Trebuie instalat pe un card SD rapid pentru colectarea eficientă a datelor

Pasul 6: Dezvoltarea sistemului

„Ochii” dispozitivului sunt senzorul de infraroșu stereo Realsense D435, care este un senzor disponibil la raft, utilizat în principal pentru aplicații robotizate, cum ar fi cartografierea 3D (Figura 1). Când acest senzor este instalat pe quadcopter, camera cu infraroșu poate ghida și permite quadcopterului să se deplaseze autonom. Datele generate de cameră se numesc nor de puncte care constă dintr-o serie de puncte dintr-un spațiu care au informații despre poziția unui anumit obiect în viziunea camerei. Acest nor de puncte poate fi convertit într-o hartă a adâncimii care arată culorile ca adâncimi diferite (Figura 2). Roșu este mai departe, în timp ce albastru este mai aproape de metri.

Pentru a vă asigura că acest sistem este perfect, a fost utilizat un sistem de operare open-source numit ROS, care este de obicei utilizat pe roboți. Permite efectuarea controlului dispozitivului la nivel scăzut și accesarea tuturor senzorilor și compilarea datelor pentru a fi utilizate de alte programe. ROS va comunica cu SDK-ul Realsense, care permite pornirea și oprirea diferitelor camere pentru a urmări cât de departe sunt obiectele de sistem. Legătura dintre ambele îmi permite să accesez fluxul de date de la cameră, care creează un nor de puncte. Informațiile despre norul de puncte pot determina unde sunt limitele și obiectele la mai puțin de 30 de metri și o precizie de 2 cm. Ceilalți senzori, cum ar fi senzorii SONAR și senzorii încorporați în controlerul DJI Naza, permit o poziționare mai precisă a quadcopterului. Software-ul meu folosește algoritmi AI pentru a accesa norul de puncte și, prin localizare, pentru a crea o hartă a întregului spațiu care înconjoară dispozitivul. Odată ce sistemul este lansat și începe scanarea, acesta va călători prin holuri și va găsi intrări în alte camere, unde va putea apoi să meargă în cameră în mod specific, căutând oameni. Sistemul repetă acest proces până când toate camerele au fost scanate. În prezent, quadcopterul poate zbura în jur de 10 minute, ceea ce este suficient pentru a face o deplasare completă, dar poate fi îmbunătățit cu diferite aranjamente ale bateriei. Primii respondenți vor primi notificări atunci când oamenii sunt văzuți, astfel încât să își poată concentra eforturile asupra unor clădiri selectate.

Pasul 7: discuții și concluzii

După multe încercări, am creat un prototip de lucru care îndeplinea cerințele enumerate în Tabelul 1. Prin utilizarea camerei stereo cu infraroșu Realsense D435 cu SD-ul Realsense, a fost creată o hartă de adâncime de înaltă rezoluție a frontului quadcopterului. La început, am avut câteva probleme cu faptul că camera cu infraroșu nu putea detecta anumite obiecte precum sticla. Prin adăugarea unui senzor SONAR, am reușit să depășesc această problemă. Combinația dintre Rock64 și DJI Naza a avut succes, deoarece sistemul a reușit să stabilizeze quadcopterul, putând în același timp să detecteze obiecte și pereți prin intermediul algoritmilor de vizualizare pe computer, personalizați, utilizând OpenCV. Deși sistemul actual este funcțional și îndeplinește cerințele, acesta ar putea beneficia de unele prototipuri viitoare.

Acest sistem ar putea fi îmbunătățit prin utilizarea camerelor de calitate mai înaltă pentru a putea detecta mai precis oamenii. Unele dintre camerele FLIR mai scumpe au capacitatea de a detecta semnăturile de căldură care pot permite o detectare mai precisă. Sistemul ar putea funcționa, de asemenea, în diferite medii, cum ar fi încăperile prăfuite și umplute cu fum. Cu o nouă tehnologie și protecție împotriva incendiilor, acest sistem ar putea fi trimis în case care ard și detectează rapid unde se află oamenii, astfel încât primii intervenienți să poată recupera supraviețuitorii din pericol.

Mulțumesc pentru lectură! Nu uitați să mă votați la concursul de Optică!