Suport pentru muzică multimodală: 9 pași (cu imagini)

2024 Autor: John Day | [email protected]. Modificat ultima dată: 2024-01-30 11:46

Suportul Multimodal pentru Muzică (MMMS) este un nou mod de a controla sinteza și efectele audio în timp ce cântați la un instrument tradițional (sax, flaut, vioară, pe care îl numiți) și oferă destul de multe posibilități suplimentare pentru tehnici extinse care pot fi utilizate în timpul redării ! Există deja o pagină web despre proiectul nostru de grup de la UC Santa Barbara în care am dezvoltat MMMS, așa că, în loc să repetăm aici, voi posta linkul - verificați! Multimodal Music Stand Website aici, dar există videoclipuri mai bune pe site-ul de mai sus … Multimodal se referă la capacitatea de detectare a intrării în mai multe modalități (intrare audio, intrare video și intrare bazată pe senzori). Intrarea audio și video este destul de simplă, implicând un microfon normal și o cameră web conectată la computer, dar intrarea senzorului este puțin mai complexă, de aceea acest lucru instructabil … Folosim interfața USB CREATE, un circuit simplu pe care l-am dezvoltat pentru o clasă Predau la UCSB, împreună cu kitul ThereminVision II pentru câmpul E (cunoscut și sub denumirea de capacitive sensing) așa cum se arată aici: CREAȚI interfața USB Kit ThereminVisionII Dacă nu știți ce este un Theremin, faceți-vă o favoare și căutați pe Youtube, ați câștigat Nu fi dezamăgit! MMMS este practic echivalent cu 2 Theremins, deoarece are 4 antene de detectare a câmpului E, pe lângă intrarea audio / video, desigur. Dacă sunteți interesat să vă extindeți tehnicile de performanță cu instrumentul dvs. prin interacțiunea cu un computer, dar nu vrei să folosești pedale simple, construiește-ți un suport de muzică multimodal și începe să exersezi cu el!

Pasul 1: Despre interfața CREATE USB

CREATE USB Interface (CUI) este un circuit programabil simplu bazat pe PIC care poate fi fie construit în întregime DIY, fie puteți obține unul pre-construit direct de la mine pentru 50 USD (+ 5 pentru transport) și nu veți avea nevoie pentru a cumpăra un programator PIC de când am pus bootloader-ul pe tine … vezi site-ul web pentru detalii sau doar trimite-mi un e-mail pentru a solicita unul: site-ul web CREATE USB Interface CUI poate funcționa la fel de multe lucruri diferite și a fost folosit până acum în sute de proiecte interesante din întreaga lume … câteva exemple de la studenții de la UC Santa Barbara sunt în această lucrare de conferință (PDF). CUI poate fi reprogramat prin cablul USB folosind bootloader-ul, motiv pentru care este atât de ușor de adaptat - pur și simplu schimbați firmware-ul și este altceva. De exemplu, este ușor să transformați CUI într-o interfață senzor wireless folosind una dintre modulele Bluetooth de la spark fun - dacă cineva este interesat să facă acest lucru, postați o notă în comentarii solicitând un alt instructable. CUI are 13 canale de intrări analogice de 10 biți și 16 pini de intrare / ieșire de uz general. Firmware-ul implicit livrat cu plăcile CUI v1.0 le trimite pe toate ca intrări pe computerul gazdă și funcționează frumos cu medii interactive de artă, cum ar fi Max / MSP / Jitter, Pd / Gem, SuperCollider, Chuck etc. una dintre plăcile CUI v1.0 pentru a construi suportul pentru muzică multimodală în acest instructable. Folosim Max / MSP / Jitter ca mediu, dar nu ezitați să adaptați acest lucru la Pd sau la alegerea software-ului dvs. Sunt un mare fan al open source (CUI în sine este open source) și ajută foarte mult dacă stăm cu toții pe umerii celuilalt și îmbunătățim lucrurile pe care le facem!

Pasul 2: Despre kitul ThereminVision II

ThereminVision II este disponibil atât ca kit (50 USD), cât și pre-construit (80 USD) de pe site-ul furnizorului, RobotLand, și este, de asemenea, open source - manualul ThereminVision II (PDF) include diagramele circuitelor. Pentru MMMS, am cumpărat kitul și apoi am decis să merg cu cel pre-construit de data aceasta (acesta este al doilea MMMS pe care l-am construit). Ca o parte, în caz că vă întrebați de ce nu vă ofer un sub formă de kit al interfeței CREATE USB, se datorează faptului că bootloader-ul CUI trebuie să fie programat cu un programator PIC convențional înainte ca noul firmware să poată fi trimis prin USB - altfel aș oferi cu siguranță un kit, deși ar implica lipirea montării pe suprafață … Deci, înapoi la ThereminVision II - dacă l-ați cumpărat în formatul kitului, urmați instrucțiunile (minunate!) din pdf: manualul ThereminVision II Există o mulțime de diagrame frumoase ale cablajului pe care va trebui să le faceți - singurul lucru pe care nu îl arată este conexiunile la interfața USB CREATE, așa că voi posta fotografiile pe care le-am făcut la următorii pași … oh, și am primit antenele pentru ThereminVision (neincluse) de la All Electronics.

Pasul 3: Pregătirea suportului pentru muzică

Fă-ți muzică multimodală deosebită dintr-un stand de muzică drăguț, cum ar fi „suportul pentru dirijor” prezentat aici sau folosește orice ai la îndemână - mai bine, fă-ți propriul!

Indiferent de standul pe care îl utilizați, acesta va avea nevoie de montaje izolate pentru cele patru antene de la colțurile standului. Începeți prin găurirea colțurilor - feroneria de montare pe care o așezam a funcționat cu un burghiu de 1/4 , probabil va fi diferit. Încercați să păstrați partea din față a suprafeței cât mai bine posibil pentru a evita interferențele cu partitura.

Pasul 4: Conectarea modulelor senzorului ThereminVision

Conectarea modulelor „senzor” ThereminVision (555 circuite temporizate) la modulul „procesor” ThereminVision este, de asemenea, discutată mai detaliat în manualul ThereminVision II, dar iată câteva imagini ale procesului …

Pasul 5: Conectarea ThereminVision la interfața CREATE USB

După cum am văzut în ultimul pas, există 4 fire care conectează fiecare dintre modulele senzorului la modulul procesor ThereminVision. Există, de asemenea, 6 fire care conectează modulul procesorului ThereminVision la interfața CREATE USB - acestea sunt alimentare, împământare, ieșire senzor, selectare senzor A, selectare senzor B și oprire senzor.

Deoarece ThereminVision II va primi puterea de la interfața USB CREATE (care, la rândul său, își primește puterea de la USB), am decis să conectez puterea pentru fiecare dintre modulele senzorului ThereminVision direct la interfața USB CREATE - acest lucru îl face puțin mai puțin a unui cuib de pasăre pe cabluri, deoarece există deja o mulțime de fire care intră pe placa procesorului TherminVision. Conectați "+" de pe ThereminVision la "5V" de la CUI Connect "-" de la ThereminVision la "GND" de la CUI Connect "4" (împărțirea la 4 ieșiri) de la ThereminVision la "D7" de la CUI Connect „SEL B” de pe ThereminVision la „D5” de pe CUI conectați „SEL A” de pe ThereminVision la „D4” de pe CUI Connect „S” de pe ThereminVision la „D6” de pe CUI

Pasul 6: Montarea totul pe suport

Deci, electronica este gata, acum doar montați-o pe suport - există multe metode pentru a face acest lucru și poate doriți să vă puneți electronica într-o cutie de protecție, etc ….

Iată câteva fotografii cu unele dintre cele mai simple metode de montare.

Pasul 7: Încărcarea firmware-ului pentru ThereminVision în CUI

ThereminVision trimite semnale de sincronizare pentru senzorii săi în loc de ieșiri analogice (sau oricare dintre protocoalele digitale standard precum I2C sau SPI). Așadar, a fost nevoie de niște firmware personalizate pentru a măsura calendarul acestor semnale … Prima versiune a firmware-ului Multimodal Music Stand se află în fișierul zip de mai jos, atât codul sursă, cât și fișierul hex compilat sunt incluse (împreună cu un patch de testare pentru Max / MSP / Jitter): firmware CUI-ThereminVision Captura de ecran de mai jos prezintă programul OS X Boot Down de Craig Schimmel - un utilitar de încărcare Macintosh pentru CUI. Dacă vă aflați pe Windows, cel mai ușor lucru este să utilizați propriul instrument Microchip, PDFSUSB.exe care poate fi descărcat de pe site-ul web sau inclus în acest exemplu de cod pentru interfața CREATE USB. Pentru a pune CUI în „modul bootloader”, țineți apăsat butonul de program și apăsați butonul de resetare (sau pur și simplu conectați cablul USB în timp ce țineți apăsat butonul de program). LED-ul de stare CUI va clipi continuu indicând faptul că este în modul bootloader. Acum puteți utiliza Boot Down pentru a trimite fișierul CUIEfieldBootDown.hex la CREATE USB Interface. Dacă vreți vreodată să schimbați firmware-ul pentru CREATE USB Interface înapoi la original, acesta este aici și există alte exemple de firmware pentru CUI și aici.

Pasul 8: Testarea suportului de muzică multimodală în Max / MSP / Jitter

Deschideți exemplul de patch în Max / MSP / Jitter (o demonstrație de 30 de zile este descărcabilă de pe www.cycling74.com și este disponibilă și o versiune „runtime” care nu permite salvarea patch-urilor) sau urmați convențiile din patch-ul Max și creați-vă propriul patch în PureData (Pd) … Jitter este folosit pentru a afișa poziția 3D a intrărilor gestuale, unde axa Z (spre și departe de stand) este mapată la intensitatea generală a tuturor celor 4 antene - nu foarte științific, dar funcționează! Datele de la senzorii individuali sunt, de asemenea, trimise ca OSC la 127.0.0.1 (localhost) pentru a fi utilizate de alte aplicații, dacă este necesar. Un obiect util în Max / MSP / Jitter pentru filtrarea vârfurilor din datele senzorului (cauzate de interferențe electrice) este „mai neted” al lui Tristan Jehan, care poate fi descărcat aici: obiect mai neted Site-ul Cristian are, de asemenea, o grămadă de MSP externe pentru Max pe care le folosim pentru porțiunea de analiză audio a intrării Multimodal Music Stand - acestea includ tonul ~, intensitatea ~, luminozitatea ~, zgomot ~ și obiectul analizor all-in-one ~. Odată ce aveți date care intră în Max, va trebui să ajustați sensibilitatea senzorilor ThereminVision individual cu un șurubelniță mic. Faceți acest lucru extinzând antenele până la capăt, apoi rotind trimpotul albastru în sens invers acelor de ceasornic până când intră în modul „detectare inversă” - apoi întoarceți-l înapoi în sensul acelor de ceasornic până când vă întoarceți în domeniul de detectare normal. Reglaje mici (reglarea senstivității, la fel ca reglarea unei chitare) pot fi făcute prin schimbarea lungimii antenelor, deci nu va trebui să purtați șurubelnița în jurul valorii de la concerte.

Pasul 9: Utilizarea suportului pentru muzică multimodală în performanță! (și extinderea acestuia)

Nu uitați, noile tehnici de performanță pe care suportul de muzică multimodal le permite practică necesară și dezvoltarea de noi mapări și idei pentru ceea ce doriți să controlați cu el! De asemenea, dacă doriți să extindeți MMMS-ul pentru a încorpora alte tipuri de senzori, va fi posibil să utilizați cele 13 intrări analogice de pe CUI în plus față de senzorii ThereminVision în versiunile viitoare ale firmware-ului MMMS, deci cu niște senzori simpli (glisante / butoane / pedale) sau alte tipuri de senzori (IR / ultrasunete / etc), acestea pot fi utilizate împreună cu intrarea audio și video pe computer. În prezent, firmware-ul folosește un protocol „serial-over-USB”, dar în cele din urmă planul este de a comuta la protocolul „HID” (dispozitiv de intrare umană) utilizat în mod normal de interfața USB CREATE. Vă rugăm să nu ezitați să contribuiți la efort … Există un proiect similar open source pentru detectarea câmpului E (cunoscut și sub denumirea capacitivă) care utilizează aceeași topologie de circuit (bazată pe designul ThereminVision) numită CapToolKit - folosește „fratele mai mic din PIC18F4550, PIC18F2550 care nu are la fel de multe intrări analogice (10 în loc de 13). Firmware-ul pentru CapToolKit va fi ușor diferit, deoarece nu utilizează placa procesorului ThereminVision. Folosim o cameră simplă firewire (stil webcam) montată în partea superioară a suportului muzical pentru recunoașterea optică a gesturilor fizice și detectarea privirii - Dacă sunteți interesați de viziunea computerizată sau de analiza și aspectele de sinteză audio ale cercetării grupului nostru, vă rugăm să consultați articolele de pe site-ul Multimodal Music Stand. Și vă rugăm să publicați experiențele dvs. dacă construiți un stand de muzică multimodal … Acum avem două la UCSB așa cum se arată în fotografia de mai jos - ar fi minunat să aveți mai multe compoziții, spectacole și muzicieni care să le folosească acolo! Dr. JoAnn Kuchera-Morin a scris prima compoziție care implică MMMS, care a fost interpretată de flautistul Jill Felber la Eastman School of Music în martie 2007.