Mănușă de conversie gest la vorbire / text: 5 pași

2024 Autor: John Day | [email protected]. Modificat ultima dată: 2024-01-30 11:42

Ideea / împingerea din spatele implementării acestui proiect a fost de a ajuta persoanele care au dificultăți de comunicare folosind vorbirea și de a comunica folosind gesturile mâinilor sau mai cunoscute ca limbă semnată americană (ASL). Acest proiect poate fi un pas către oferirea acestor oameni a unei oportunități de a lucra cu alte persoane, care nu pot înțelege limba semnelor, într-un mediu de colaborare. De asemenea, acest proiect le va permite să țină discursuri publice fără utilizarea unui traducător uman propriu-zis. Ca început, încercam doar să detectez unele dintre gesturile mai ușoare, cum ar fi alfabetele A, B, I, etc.

Pasul 1: Asamblarea circuitului

Pasul 2: Detalii proiect

Acest proiect include o mănușă purtabilă cu 4 senzori flex blocați / încorporați în mănușă - câte unul pentru degetul mic, mijlociu, arătător și degetul mare. Senzorul flex nu a fost utilizat pentru degetul inelar din cauza limitărilor privind disponibilitatea pinilor de intrare analogică pe Arduino Uno R3 și, în general, din cauza lipsei mișcării independente afișate de deget în limbile semnelor. De asemenea, se folosește un accelerometru MMA8452Q care este blocat pe partea din spate a palmei pentru a măsura orientarea mâinii. Intrarea de la acești senzori este analizată și utilizată pentru a simți gestul. Odată ce gestul este detectat, caracterul / mesajul corespunzător este salvat într-o variabilă. Aceste caractere și mesaje continuă să se concateneze până când se face un anumit gest predeterminat care indică finalizarea propoziției. Odată ce acel gest special este detectat, șirul de propoziții salvat este trimis către Raspberry Pi prin cablu USB de către Arduino. Raspberry Pi trimite apoi șirul primit către Amazon Cloud Service numit Polly pentru a converti propoziția primită în format text în format de vorbire și apoi transmite discursul primit pe difuzorul conectat la Raspberry Pi prin cablul AUX.

Acest proiect a fost doar o dovadă a conceptului și cu echipamente și planificare mai bune și mai bine calibrat pentru a detecta o mulțime de alte gesturi și mișcări ale mâinilor. În prezent, în acest proiect este programată doar o funcționalitate limitată, cum ar fi detectarea gesturilor de bază și ieșirea text-vorbire.

Pasul 3: Cod

Pasul 4: Pași

1. Conectați senzorii flex și accelerometrul MMA8452Q la Arduino conform schemei de circuit furnizate.

2. Descărcați programul Final_Project.ino (găsit în fișierul Arduino_code.zip) în Arduino.

3. Conectați Arduino la Raspberry Pi prin intermediul unui cablu USB. (Cablu tip A / B).

4. Porniți Raspberry Pi, copiați fișierul Raspberry_pi_code.zip în Raspberry Pi și extrageți-l. Conectați difuzorul la Raspberry Pi.

5. Copiați acreditările contului AWS, adică aws_access_key_id, aws_secret_access_key și aws_session_token în fișierul ~ /.aws / credentials. Acest pas este necesar pentru a comunica cu cloud-ul AWS și pentru a utiliza serviciile AWS.

6. Rulați programul seria_test.py găsit în folderul extras la pasul 4.

7. Acum, faceți gesturile pentru a forma o propoziție și apoi faceți gestul special (Țineți degetele și palma drepte și în linie, cu palma îndreptată departe de dvs., apoi rotiți încheietura dând o întoarcere în jos, astfel încât acum palma este cu fața către tine și vârful degetelor este îndreptat în jos spre picioare.) pentru a semnala finalizarea propoziției.

8. Continuați să verificați terminalul pentru informații utile.

9. Și ascultați ca vorbirea convertită să fie transmisă în difuzor.

Pasul 5: Referințe

1.

2.

3.

4.