Recunoaștere mișcare manuală: 5 pași

2024 Autor: John Day | [email protected]. Modificat ultima dată: 2024-01-30 11:42

Prezentare generală

În acest proiect, vom face o mănușă care poate recunoaște câteva mișcări de bază ale mâinilor, folosind un MicroBit și câțiva senzori. Vom folosi funcțiile Bluetooth de pe MicroBit, împreună cu o aplicație Android și un server web pentru a instrui un model de învățare automată pentru a identifica mișcările mâinilor.

Noțiuni de bază

Majoritatea efortului implicat în acest proiect este din partea software-ului, iar tot codul necesar pentru a rula acest proiect este disponibil pe GitHub. Baza de cod implică 3 componente, codul pentru a genera un fișier HEX pentru MicroBit, baza de cod a aplicației Android, care se bazează puternic pe aplicația MicroBit Blue a Fundației MicroBit, cu modificări făcute pentru acest caz de utilizare specific, și un server web cu cod pentru instruirea unui model bazat pe Tensorflow pentru a identifica mișcările mâinilor.

Vom vedea cum să construim mănușa și să o conectăm cu aplicația și serverul web în continuare.

Provizii

• 1 BBC Microbit
• 1 Suport baterie cu 2 baterii AAA
• 1 mănușă
• Un set de fire jumper, cleme de aligator
• Un senzor flex
• Un senzor de forță
• Velcro
• Bandă electrică
• Un telefon Android
• Un PC / laptop

Pasul 1: Pasul 1: Configurarea MicroBit și a bateriei

• Începeți prin atașarea suportului bateriei la o bucată de velcro așa cum se arată în prima imagine. Folosiți bandă electrică pentru a atașa ferm suportul bateriei la cureaua cu velcro.
• Apoi faceți o buclă cu bandă electrică astfel încât să fie lipicioasă pe ambele părți și lipiți-o deasupra acumulatorului.
• Lipiți MicroBit pe bucla de bandă pentru a atașa ferm MicroBit la suportul bateriei, așa cum se arată în a doua imagine.

Pasul 2: conectați senzorii

• Urmați schema de circuite prezentată în imagine pentru a conecta senzorul flex la pinul 1 al MicroBit și senzorul de forță la pinul 0 al MicroBit.
• Fixați senzorii de pe mănușă folosind bandă electrică așa cum se arată în imagini.

Pasul 3: Finalizarea hardware-ului

• Utilizați capetele curelelor cu velcro pentru a forma o buclă și glisați bucla peste degetele mănușii, așa cum se arată în imagine.
• Puteți utiliza legături de sârmă pentru a fixa firele de pe mănușă pentru a le împiedica să se miște prea mult.

În secțiunea următoare vom analiza modul de configurare a software-ului.

Pasul 4: Configurare software

Asocierea telefonului la MicroBit

1. Pentru a vă asocia telefonul, asigurați-vă mai întâi că Bluetooth este activat pe telefon.
2. Porniți MicroBit-ul și apăsați și mențineți apăsate butoanele A și B. În același timp, apăsați și eliberați butonul de resetare, în timp ce țineți butoanele A și B. Microbitul ar trebui să intre acum în modul de asociere.
3. Pe telefonul dvs., găsiți MicroBit-ul dvs. în lista de dispozitive bluetooth unde adăugați de obicei un nou dispozitiv Bluetooth și începeți asocierea. Pe MicroBit veți vedea o săgeată care indică butonul A. Când apăsați acest lucru, MicroBit va afișa o serie de numere care este Codul de asociere pe care trebuie să îl introduceți pe telefon. Odată ce ați introdus codul pe telefon și ați selectat perechea, pe MicroBit ar trebui să fie afișată o bifă.
4. Apăsați butonul de resetare de pe MicroBit.

Configurarea software-ului

Urmați ghidurile ReadMe din fiecare subdosar din GitHub Repository pentru a configura proiectul aplicației Android în Android Studio, pentru a construi și bloca fișierul HEX pe MicroBit și pentru a rula serverul web pentru rularea modelelor Machine Learning.

Pasul 5: utilizare

Server Web

Deschideți un terminal în directorul de proiect al serverului Web și rulați `python server.py` pentru a porni serverul după ce urmați instrucțiunile din ReadMe pentru a instala dependențe

Aplicația Android

1. Construiți și creați un APK pentru aplicația Android din Android Studio. Rulați aplicația după asocierea telefonului cu MicroBit (consultați pasul anterior).
2. În pagina accelerometrului, puteți seta adresa URL a serverului web utilizând meniul de setări din colțul din dreapta sus. Asigurați-vă că schimbați acest lucru pe adresa IP a serverului dvs. Web.
3. Așteptați până când citirile accelerometrului încep să fie populate de pe MicroBit. Veți vedea că citirile se schimbă cu o frecvență diferită. Pentru a schimba frecvența, apăsați B pe MicroBit. În mod ideal, puteți utiliza o valoare a frecvenței de 10 (care eșantionează citirile la fiecare 10 ms)
4. Odată ce citirile sunt completate, denumiți-vă gestul folosind caseta de text etichetată „Gest:” și apăsați butonul de înregistrare. De îndată ce apăsați butonul de înregistrare, mișcați mâna în mod repetat, până când butonul devine din nou activat.
5. Repetați pasul 3 pentru înregistrarea mai multor gesturi.
6. Apăsați butonul de tren pentru a iniția instruirea modelului pe server. Odată ce antrenamentul este terminat (aproximativ 15 secunde), puteți continua să faceți predicții.
7. Apăsați butonul de predicție și faceți mișcarea / gestul. Aplicația va încerca să o potrivească cu una dintre mișcările antrenate cât mai bine posibil.