IoT: Controlați HoloLens folosind sprâncenele (EMG): 5 pași

2024 Autor: John Day | [email protected]. Modificat ultima dată: 2024-01-30 11:43

Acest proiect a făcut parte din proiectul NASA SUITS al Universității din Colorado Boulder, care a fost prezentat și testat la NASA JSC în aprilie 2019. Pentru proiectul din acel an, am fost conducătorul proiectului de dezvoltare hardware și aceasta a fost una dintre contribuțiile mele. Citiți mai multe despre provocarea NASA SUITS aici.

Cu acest proiect, am vrut să permit oricui (în acest caz astronauții EVA) să interfețe cu un Heads-Up-Display (HUD) desfășurat în Microsoft HoloLens fără a utiliza gesturile de mână încorporate sau intrările vocale. Am abordat acest obiectiv din punct de vedere al accesibilității, am vrut să dezvolt un dispozitiv periferic / purtabil care să permită astronauților EVA să interfețe cu afișajul lor fără a ocupa comunicații cu control la sol și, din cauza mănușilor lor foarte presurizate, interfața gesturilor este nerezonabilă. Deși acesta este un domeniu cu care sunt oarecum necunoscut, pot vedea, de asemenea, că acest periferic este util pentru cei cu dizabilități, permițându-le să folosească HoloLens sau alte dispozitive AR / VR și să renunțe la intrările de interfață care sunt excluzive sau descurajante.

În timp ce lista de articole pentru acest proiect este în sine excluzivă (HoloLens este foarte scump!), Perifericul poate fi utilizat cu alte dispozitive AR / VR.

Dacă aveți întrebări, doriți să țineți pasul cu munca mea sau să aruncați idei, vă rugăm să faceți acest lucru pe Twitter: @ 4Eyes6Senses.

Provizii

Microsoft HoloLens (sau alt dispozitiv AR / VR)

Fotonul cu particule

Senzor muscular MyoWare - Senzorul MyoWare poate fi înlocuit cu alte plăci de rupere EMG. Dacă nu sunteți sigur de ce este EMG, vă sugerez să citiți mai multe despre el aici

Tampoane pentru senzori biomedici

Unitate (gratuit)

O oarecare experiență cu crearea de proiecte în unitate

Sârmă

Pasul 1: Conectarea MyoWare cu fotonul de particule

Conectarea fotonului de particule la placa MyoWare este destul de simplă. Pentru acest pas, va trebui să lipiți conexiunile dintre Particle Photon și placa MyoWare. Asigurați-vă că aveți conexiuni puternice, astfel încât cablurile să nu se rupă în timp ce purtați dispozitivul. Pentru a evita rupturile, vă recomand să împletiți cablurile înainte de a le lipi în Photon.

- Lipiți un fir în portul "+" al plăcii MyoWare, apoi lipiți celălalt capăt al cablului în pinul "3v3" al fotonului.

- Lipiți un fir în portul "-" al plăcii MyoWare, apoi lipiți celălalt capăt al cablului în pinul "GND" al fotonului.

- Lipiți un fir în portul "SIG" al plăcii MyoWare, apoi lipiți celălalt capăt al cablului în pinul "A0" al fotonului.

Pasul 2: Încărcarea codului pe fotonul particulelor

Folosind IDE-ul Particle Photon, încărcați fișierul.ino. Așezați placa MyoWare pe un grup muscular și verificați valorile pentru a vă asigura că dispozitivul dvs. funcționează. Când priviți codul, veți observa că există deja o variabilă „prag” setată, această variabilă este valoarea minimă pe care MyoWare o citește din mușchiul meu când ridic sprânceana complet. De asemenea, am setat variabila la „600” pentru că mi-a permis să am conversații normale în timp ce purtam MyoWare fără să creez falsuri pozitive (declanșare accidentală), poate doriți să jucați cu valorile până când veți găsi pragul dorit pentru utilizările dvs.

Pasul 3: Plasarea MyoWare

Pentru proiectul nostru NASA SUITS, am ales să plasez placa MyoWare deasupra sprâncenei. Am fost inspirat să plasez MyoWare acolo după ce m-am uitat la proiectul „'Sup Brows” realizat de Adafruit. După câteva teste, a devenit clar că sprâncenele sunt o locație excelentă pentru acest proiect specific. Este o locație excelentă, deoarece senzorii nu ar fi afectați de mișcările musculare constante prin brațe, picioare și trunchi pe care astronauții EVA le fac în timpul plimbărilor spațiale.

Pasul 4: Conectarea MyoWare cu Unity

Acum este timpul pentru pasul final, haideți să conectăm MyoWare cu Unity! În acest Instructable este inclus scriptul pe care va trebui să îl includeți în proiectul dvs. Unity. Dar mai întâi, va trebui să schimbați câteva lucruri din cod. Mai întâi, va trebui să adăugați pluginul JSON Object Unity în proiectul dvs. Apoi, va trebui să adăugați propriul ID de dispozitiv și jetonul de acces în linia 19: particleURI = "https://api.particle.io/v1/devices/[Insert your device id] / Next? Access_token = [Insert your jeton de acces]". Puteți obține ID-ul dispozitivului dvs. din IDE-ul particulei, după figura 2, faceți clic pe fila dispozitivelor dvs. (casetă roșie) și căutați sub numele dispozitivului dvs. pentru a găsi ID-ul dvs. (casetă albastră). Apoi, pentru a găsi jetonul de acces, faceți clic pe fila de setări din IDE.

Pasul 5: Gata

După finalizarea proiectului Unity, veți avea un HoloLens controlat de EMG!

Dacă aveți întrebări detaliate, doriți să aflați despre mărirea umană, doriți să țineți pasul cu munca mea sau pur și simplu să aruncați idei, vă rugăm să faceți acest lucru pe Twitter-ul meu:

@ 4Eyes6Senses

Dacă sunteți interesat să colaborați cu echipa noastră pentru provocarea NASA SUITS 2019 - 2020, vă rugăm să mă trimiteți un e-mail la:

Mulțumiri speciale modelului din prima imagine, Darren, care a testat și designul la NASA. O altă mulțumire partenerului meu de programare pentru proiectul AJ, care a făcut mult din acest lucru posibil.