Biofeedback Cinema: 7 pași

2024 Autor: John Day | [email protected]. Modificat ultima dată: 2024-01-30 11:45

Autor de proiect

Jessica Ann

Colaboratori

• Gregory Hough
• Salud Lopez
• Pedro Peira

Despre

Un sistem experimental de captare video care conectează creierul unui participant la funcțiile camerei prin intermediul unui set de căști Neurosky Mindwave EEG Reader. Sistemul Biofeedback Cinema funcționează în locul unui cinematograf tradițional, oferind în schimb agenția compoziției către participantă însăși printr-o interfață personalizată BRAIN to CAMERA. Proiectul a fost dezvoltat în colaborare cu participanții la atelier, Gregory Hough, Salud Lopez și Pedro Peira. Puteți citi rezultatele atelierului la:

Configurare prototip

Sistemul Biofeedback Cinema se pretează la multe aplicații potențiale. Pentru acest instructiv, am pregătit o demonstrație a sistemului care privește nivelul de focalizare / atenție al participantului (un singur întreg) și îl transformă în poziția camerei (prin panoramare și înclinare) și focalizarea camerei (intern prin OpenCV). Toate acestea sunt posibile printr-o conexiune bluetooth între un set de căști Neurosky EEG Reader și un Raspberry Pi.

Raspberry Pi este un computer mic echipat cu o cameră web și scripturi (disponibile mai jos) care conectează activitatea creierului participantului la setările camerei și la poziția camerei. Poziția dinamică a camerei este posibilă prin intermediul unui microcontroler Arduino care primește semnale de la Raspberry Pi. Așteptăm cu nerăbdare dezvoltarea ulterioară, deoarece ne propunem să includem parametri suplimentari ai undelor cerebrale (frecvențe asociate cu clipirea ochilor etc.) și funcțiile camerei (de exemplu, nuanță, saturație, luminozitate etc.).

Mai jos sunt instrucțiunile pentru a vă construi propriul sistem Biofeedback Cinema.

Experiment fericit

Pasul 1: consumabile

Tot ce aveți nevoie pentru a vă construi propriul prototip Biofeedback Cinema este listat mai jos.

1. Căști EEG mobile Neurosky Mindwave

2. Raspberry Pi B + (b + este mai bun, mai multe porturi USB, dar și un model B este bine dacă aveți un hub USB).

   1. Adaptor de alimentare sau acumulator Raspberry Pi
   2. Wifi Dongle - sau - Conexiune Ethernet (necesară numai în timpul configurării)
   3. Bluetooth Dongle vezi wiki pentru dongle compatibile
   4. Card SD (cel puțin 8 GB) cu NOOBS.

3. Arduino Orice placă este în regulă, folosind Uno în acest Instructable. De asemenea, rețineți că puteți utiliza I / O pe Pi.

   1. Adaptor de alimentare sau baterie Arduino
   2. Cablu USB A-B
4. Cameră web USB
5. Kit Mini Pan-Tilt

6. Monitorizați cu intrare HDMI Sau utilizați VNC pentru a vă controla de la distanță pi-ul de pe computer [tutorial aici]

   Cablu HDMI

7. Tastatura și mouse-ul USB recomandă tastatura și mouse-ul Bluetooth pentru a minimiza porturile USB utilizate.

Pasul 2: Configurați Raspberry Pi

1. Configurare hardware

Conectați tastatura, mouse-ul, dongle bluetooth, dongle wifi (sau ethernet), cameră web, monitor prin cablu HDMI și alimentare la Raspberry Pi

2. Configurați sistemul de operare

• Activați alimentarea și Pi-ul dvs. ar trebui să pornească. Instalați sistemul de operare Rasbpian, instrucțiuni aici:
• Dacă este pornit și Raspian este instalat corect, ar trebui să vedeți desktopul de acasă [Imaginea de mai sus].

SFATURI:

• Dacă raportul de aspect al desktopului este dezactivat, încercați să reporniți Raspberry Pi. Dacă este încă oprit, căutați aici pentru a actualiza raportul de aspect manual.
• Dacă deschideți un editor de text și caracterele speciale ale tastaturii sunt nepotrivite, căutați aici pentru a actualiza configurația tastaturii.
• Testați-vă conexiunea la internet (veți avea nevoie de aceasta pentru a instala bibliotecile în timpul configurării). Căutați aici pentru ajutor pentru configurarea wifi.

Pasul 3: Conectați setul cu cască Neurosky

1. Configurare Bluetooth

Înainte ca Pi să se conecteze la Neurosky, trebuie să configurăm bluetooth:

Pe desktop deschideți „LXTerminal” (denumit Terminal de aici înainte). Rulați această comandă pentru a rezolva și actualiza deficiențele:

$ sudo apt-get update

Instalați Bluetooth cu această comandă:

$ sudo apt-get install bluetooth

Instalați utilitarul Bluetooth la îndemână pentru bara de instrumente desktop:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Reporniți Pi de la Terminal:

$ sudo reporniți

2. Testați conexiunea Bluetooth

• Porniți setul cu cască Neurosky
• Din scanarea terminalului pentru dispozitive:

hcitool scan

Setul cu cască Mindwave ar trebui să fie listat, luați notă de adresa MAC a setului cu cască [imaginea de mai sus]

3. Instalați bibliotecile Neurosky

Acum suntem gata să instalăm bibliotecile Neurosky Python și să începem să preluăm fluxul de date cu scriptul de testare a bibliotecii:

De la terminal instalați utilitarul github:

sudo apt-get install git-core

Clonați depozitul github cu biblioteca Neurosky Python:

clona sudo git

Trebuie să actualizăm fișierul MindwaveMobileRawReader.py cu adresa MAC a setului cu cască. FYI: Numele de fișiere sunt sensibile la majuscule și minuscule

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Actualizați adresa MAC listată în fișier. Ctrl-X pentru a termina, Y pentru a salva, Enter pentru a ieși.
• Asociați Neurosky și Pi și permiteți funcția de conectare automată, dacă vi se solicită un PIN, utilizați „0000”:

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device de încredere XX: XX: XX: XX: XX: XX da

Instalați biblioteca Python Bluetooth:

sudo apt-get install python-bluez

Rulați scriptul de testare a bibliotecii pentru a vă asigura că Pi poate previzualiza transmisia de date. Ar trebui să vedeți fluxul de date [imaginea de mai sus]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Pasul 4: Conectați USB Webcam W / Open CV

1. Instalați OpenCV

De la terminal:

$ sudo apt-get install libopencv-dev python-opencv

Când ați terminat, continuați:

$ sudo apt-get -f install

Pentru o măsură bună:

$ sudo apt-get install libopencv-dev python-opencv

Testați instalarea încercând să importați biblioteca:

$ python

> import cv2

2. Testați OpenCV în Python cu camera web USB

• Pe desktop deschideți „IDLE” (nu deschideți IDLE3!)
• Din meniul Fișier selectați Fereastră nouă. Copiați scriptul Cv-Blur-Test în noua fereastră și salvați. Script disponibil aici:
• Din meniul Run selectați Run Module (sau apăsați F5). Este posibil să dureze câteva secunde pentru a începe, dar ar trebui să vedeți un cadru mic care apare cu fluxul de webcam live, iar videoclipul ar trebui să fie neclar. Felicitări, OpenCV a fost instalat și funcționează cu succes cu camera dvs. web [Imaginea de mai sus].

Pasul 5: Conectați Arduino

1. Descărcați Arduino IDE

De la terminal:

sudo apt-get install arduino

2. Conectați Arduino & Load Sketch

• Conectați arduino în Pi cu cablul USB A-B.
• Din meniul de pornire desktop, accesați Electronică și deschideți Arduino IDE. Copiați schița noastră arduino-serial-pi în IDE [Link de mai jos]. Aceasta este o schiță de bază care va muta servomotorele pe baza intrărilor care vin peste serial. Vom trimite date prin serial în funcție de ieșirea undelor cerebrale, folosind o schiță Python în ultimul pas când punem totul împreună.

Schiță Arduino-serial-pi online aici:

În IDE-ul Arduino, accesați meniul Instrumente, selectați Serial Port și selectați portul Arduino listat, probabil ceva de genul / dev / ttyACM0. Notați portul

3. Dezactivați Consola Serială

Descărcați și rulați un script pentru a dezactiva consola serial, astfel încât conexiunea serial USB să funcționeze fără probleme:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode-setup.tar.gz

$ cd alamode-setup

$ sudo./setup

$ sudo reporniți

FYI:

Dacă utilizați B +, este posibil să existe suficient I / O pentru a sprijini servo-urile (uitați-vă aici pentru a configura și utiliza GPIO). Cu toate acestea, sunt interesat să adaug componente suplimentare pentru experimentarea viitoare creier-electronică. Deci, configurarea prototipului inițial cu un arduino asigură o mulțime de posibilități electronice.

Pasul 6: Puneți totul împreună

1. Script final Python

Înainte de a putea adăuga scriptul final Python în folderul „python-mindwave-mobile”, trebuie să schimbăm permisiunile folderului. De la terminal:

$ chmod a = rwx / home / pi / python-mindwave-mobile

• Deschideți IDLE și rulați scriptul final Python, disponibil online aici: https://github.com/PrivateHQ/biofeedback-cinema/ Asigurați-vă că este situat în folderul python-mindwave-mobile. FYI: Va trebui să actualizați scriptul nostru Python cu adresa reală a portului Arduino.
• Când rulați acest script, trebuie să vi se întâmple trei lucruri: 1) Nivelul dvs. de atenție va fi listat în Python Shell, 2) Apare un cadru mic care arată fluxul live al camerei web, cu neclaritatea în funcție de nivelul de atenție, 3) motorul (s) mutați pe măsură ce nivelul de atenție este transmis către arduino prin serial [Video de mai sus].

Pasul 7: Îmbunătățiri și dezvoltare

Raspberry Pi are o putere de procesare limitată și se luptă să ruleze fără probleme funcțiile OpenCV. Este ceva ce voi continua să dezvolt și să îmbunătățesc. În plus, intenționez să includ parametrii suplimentari ai undelor cerebrale (frecvențe asociate cu clipirea ochilor etc.) și funcțiile camerei (adică nuanță, saturație, luminozitate etc.) în iterațiile viitoare.