Antrenor personal în limba engleză - AI Voice Assistant: 15 pași

2024 Autor: John Day | [email protected]. Modificat ultima dată: 2024-01-30 11:44

Acest proiect va ajuta studenții care se pregătesc pentru orice examen lingvistic, unde pot fi instruiți interacționând cu Snips AI.

Pasul 1: Poveste

De ce am construit asta?

Din experiența mea personală, am văzut mulți oameni care se pregăteau pentru diferite teste lingvistice, cum ar fi GRE, TOEFL, IELTS. Au nevoie de o persoană care să îi ajute să memoreze și să înțeleagă cuvintele. În general, atunci când o persoană se pregătește pentru astfel de examene, ei au nevoie de o persoană care să verifice și să corecteze dacă greșesc. Cu această soluție, putem reduce forța de muncă prin angajarea unui asistent vocal.

Pasul 2: Construire hardware

În primul rând, aș dori să mulțumesc SNIPS și SEEED pentru susținerea acestui proiect cu uimitorul kit de dezvoltare a interacțiunii vocale Snips (Kit de bază), m-am simțit cu adevărat informativ folosind această placă și am putut realiza unele dintre proiectele complexe integrate într-un PCB.

Puteți achiziționa kitul de bază pentru interacțiunea vocală Snips pentru 115 USD și kitul prin satelit pentru interacțiunea vocală Snips pentru 85 USD

Pasul 3: Noțiuni introductive despre SNIPS

Înainte de a începe, să examinăm de ce veți avea nevoie.

• Raspberry Pi 3B / B + (recomandat) sau Pi 2 Model B (acceptat).
• Cablu Micro-USB și adaptor de alimentare Micro-USB pentru Raspberry Pi.
• Card Micro SD (minim 8 GB) - Pentru a începe este necesar un sistem de operare. Puteți descărca Raspbian Stretch și puteți utiliza ghidurile pentru Mac OS, Linux și Windows pe site-ul web Raspberry Pi.
• O tastatură și un mouse USB și un monitor HDMI extern - vă recomandăm, de asemenea, să aveți la îndemână o tastatură și un mouse USB, precum și un monitor HDMI.
• Conexiune la internet (Ethernet sau WiFi)

Set de bază pentru interacțiune vocală

Seturile de dezvoltare a interacțiunii vocale Snips le permit utilizatorilor să înceapă dezvoltarea interfețelor vocale și să integreze cu ușurință Snips AI Voice Platform cu hardware. Snips rulează pe dispozitiv, ceea ce înseamnă că toate comenzile vocale și datele sunt procesate local, mai degrabă decât trimise în cloud. Această procesare pe dispozitiv are ca rezultat un asistent vocal offline complet sigur, care vă păstrează confidențialitatea datelor personale, așa cum ar trebui.

Setul de bază pentru interacțiunea vocală vă permite să rulați întreaga platformă vocală Snips AI. Alimentat de un Raspberry Pi 3 Model B + și de ReSpeaker 2-Mics Pi HAT, este capabil să acționeze ca difuzor inteligent de acasă. Împreună cu kit-ul vine un difuzor, un senzor Grove - Temperatură și Umiditate (SHT31), un Grove - Releu și un panou de fixare pentru a-l agăța de un perete sau pentru a crea un suport elegant.

Dar asta nu este tot! Setul de interacțiune prin voce vă va extinde stația de bază pentru a ajunge în fiecare cameră a casei dvs. și vă va permite să interacționați cu hardware-ul în funcție de locul în care emiteți comenzile!

Acest kit conține o placă Raspberry Pi3 B +, ReSpeaker 2-Mics Pi HAT, Grove - releu, Grove - senzor de temperatură și umiditate (SHT31), difuzor 6 Ohm 2W, card MicroSD, adaptor de alimentare cu conector Micro USB, cablu Grove x 2, bază acrilică panou.

Etape de asamblare: (Conținut de la SNIPS) Următoarea imagine este o prezentare generală a pieselor de asamblare.

Aici piesele de asamblare sunt montate pe panoul de bază.

Apoi, toate piesele electronice sunt montate pe placă.

După aceea montați capacul de protecție acrilic pe partea de sus a Grove -Relay.

Aceste 2 părți sunt folosite pentru a transforma kitul într-un suport de masă.

În cele din urmă, sunteți gata să jucați cu Snips.

Kitul oferă două moduri de plasare. Poate fi așezat pe o suprafață orizontală ca un suport sau poate fi agățat pe un perete folosind fire sau fire. Vă rugăm să fiți atenți la releu atunci când kitul este pornit, deoarece tensiunea de lucru va fi mare.

NOTĂ: De asemenea, avem un kit de interacțiune prin satelit Snips Voice care are un zero Raspberry Pi în locul Raspberry Pi 3B +

Pasul 4: Interfață cu Snips AI (Proiect de bază)

• Alimentați kitul prin adaptorul de alimentare implicit din kit sau utilizați un adaptor DC 5V-2A cu un conector Micro USB.
• Următorul pas este instalarea asistentului Snips în Raspberry Pi. Pentru a vă economisi timpul de configurare, cardul MicroSD din kit a fost intermitent cu imaginea funcțională completă a sistemului, ceea ce înseamnă că asistentul Snips este pregătit pentru cuvintele dvs. de declanșare.
• Vă sugerăm cu tărie să studiați ghidul de instalare pas cu pas vizitând: https://docs.snips.ai/getting-started/quick-start… și să aflați instrumentul sam din linia de comandă.
• Declanșați asistentul spunând „Hey-snips” și urmați comanda:

Puteți găsi videoclipul exemplului preinstalat în kitul de bază Snips Voice Interaction de mai jos.

Pasul 5: interfațarea cu Snips AI (Proiect AI)

Deci, așa funcționează. În primul rând, folosim cuvântul cheie pentru a iniția recunoașterea Snips. Înțelege propoziția folosind Snips NLU și determină intenția. Apoi, folosind intenția, extrageți respectiv sloturile. Cu codul de acțiune, programăm răspunsul AI în funcție de sloturi.

Pasul 6: Crearea aplicației și intenționează

• Creați un asistent. În cazul meu, am creat un asistent cu numele JARVIS și cu un cuvânt cheie JARVIS.
• Creați o aplicație personalizată sau pentru începători, utilizați aplicația din bibliotecă.
• Am creat o aplicație cu numele Words
• Creați o intenție și începeți să instruiți AI. Acest lucru joacă un rol major în a vă face robust AI. Antrenează-l cu toate intrările posibile.
• Creați un slot pentru a identifica cuvintele. Plasați slotul la fraza așteptată a propoziției. Pentru exemplul meu, givenword este numele slotului și este evidențiat cu albastru.
• Odată ce ați terminat, ASR-ul dvs. personalizat va fi gata. Încercați cu intrările. Răspunsul îl putem găsi în dreapta ta, sub asistent. Acest lucru vă oferă extragerea valorii brute, a numelui intenției și a slotului.
• Definiți sloturile cu mai multe exemple, după cum se arată mai jos
• În cele din urmă, implementați asistentul pentru a experimenta IA personalizată.

Pasul 7: Ardeți Raspbian pe cardul SD

Raspbian este distribuția Linux la alegere care rulează pe Raspberry Pi. În acest ghid, vom folosi versiunea Lite, dar poate fi utilizată și versiunea desktop (care vine cu un mediu grafic).

• Descărcați Etcher și instalați-l.
• Conectați un cititor de card SD cu cardul SD din interior.
• Deschideți Etcher și selectați din hard disk fișierul.img sau.zip Raspberry Pi pe care doriți să îl scrieți pe cardul SD
• Selectați cardul SD în care doriți să scrieți imaginea.
• Examinați selecțiile și dați clic pe „Flash!” pentru a începe să scrieți date pe cardul SD

Conectați dispozitivul la rețeaua dvs

• Activați accesul SSH adăugând fișier gol ssh, plasat din nou la rădăcina volumului de încărcare de pe cardul SD.
• Introduceți cardul SD în Raspberry Pi. Va porni în aproximativ 20 de secunde. Acum ar trebui să aveți acces SSH la Raspberry Pi. În mod implicit, numele său de gazdă va fi raspberrypi.local. Pe computer, deschideți o fereastră terminal și tastați următoarele:

ssh [email protected]

Parola implicită este zmeură

Pasul 8: Instalați platforma Snips

Dacă nu ați făcut-o deja, instalați pe computer computerul Sam Line Line Interface. Deschideți o fereastră de terminal și introduceți:

sudo npm install -g snips-samor npm install -g snips-sam // Windows

Găsiți-vă Raspberry Pi în rețea executând:

dispozitive sam

Apoi, stabiliți o conexiune la dispozitiv. Vi se va solicita numele de utilizator și parola dispozitivului (implicit sunt pi și, respectiv, zmeură):

sam connect

Acum suntem gata să instalăm platforma Snips pe Raspberry Pi. Introduceți comanda:

sam init

Pasul 9: Configurați hardware-ul

Sam oferă câteva comenzi pentru a configura și configura cu ușurință componentele hardware. În această secțiune, vom configura un difuzor și un microfon. În funcție de configurare, este necesară o anumită configurație personalizată.

configurare audio sam

Testați difuzorul

Pentru a verifica difuzorul funcționează, rulați

difuzor de testare sam

Dacă totul funcționează bine, ar trebui să auziți pe difuzor o voce care spune câteva cuvinte. Configurarea microfonului Puteți verifica dacă microfonul funcționează:

sam testează microfonul

Presupunând că aveți un difuzor, dacă puteți auzi clar ceea ce tocmai ați spus, puteți trece mai departe fără o altă configurație a microfonului.

După ce sunteți mulțumit că setarea hardware funcționează, sunteți gata să treceți la pasul următor, unde veți implementa primul dvs. asistent.

Pasul 10: Importul modelului AI de pe consolă

După ce ați creat asistentul dvs. din pașii anteriori, conectați-vă la consolă din fereastra terminalului executând:

sam login

Vi se va solicita să introduceți acreditările Snips Console.

Apoi, instalați asistentul:

sam asistent de instalare

Dacă ați creat mai mulți asistenți în Consolă, vi se va cere să alegeți pe care să îl instalați dintr-o listă.

Pasul 11: Codul de gestionare și acțiune

Pentru ca Raspberry Pi să răspundă, va trebui să scriem un cod de gestionare. Acesta este un cod care este executat atunci când un anumit eveniment se întâmplă pe platforma Snips, cum ar fi atunci când a fost detectată intenția.

Aveți diverse metode pentru a crea Handler în funcție de funcționare.

Creați un folder pe computer pe care doriți să stocați codul de gestionare. Din fereastra terminalului, treceți la acel director și introduceți:

npm init

Aceasta va crea un fișier numit package.json care conține descrierea proiectului, dependențe și multe altele. Apoi, adăugați dependența pachetului mqtt:

npm instalați mqtt --save

Acum, creați un fișier numit index.js și lipiți următorul cod, înlocuind variabila hostname cu numele gazdei Raspberry Pi (dacă diferă de raspberrypi implicit):

var mqtt = require ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var client = mqtt.connect (hostname); client.on ('connect', function () {console.log ("[Snips Log] Conectat la brokerul MQTT" + numele gazdei); client.subscribe ('hermes / #');}); client.on ('mesaj', funcție (subiect, mesaj) {if (topic === "hermes / asr / startListening") {onListeningStateChanged (true);} else if (topic === "hermes / asr / stopListening") {onListeningStateChanged (false);} else if (topic.match (/ hermes / / hotword / /.+ / / detectat / g)! == null) {onHotwordDetected ()} else if (topic.match (/ hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (mesaj));}}); function onIntentDetected (intent) {console.log ("[Snips Log] Intent detectat:" + JSON.stringify (intent)); } function onHotwordDetected () {console.log ("[Snips Log] Hotword detectat"); } function onListeningStateChanged (listening) {console.log ("[Snips Log]" + (ascultare? "Start": "Stop") + "ascultare"); }

Rulați acest cod folosind Node:

nod index.js

Ar trebui să vedeți un mesaj despre o conexiune reușită la brokerul Snips MQTT. Ca și până acum, efectuați o interacțiune vocală cu Raspberry Pi:

Hei Snips, care este vremea în Chennai

Ar trebui să vedeți actualizarea jurnalelor:

[Snips Log] Conectat la brokerul MQTT mqtt: //raspberrypi.local

[Snips Log] Hotword detectat [Snips Log] Începeți ascultarea [Snips Log] Opriți ascultarea [Snips Log] Intent detectat: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" implicit "," input ":" care este vremea în chennai "," intent ": {" intentName ":" searchWeatherForecast "," probability ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "predict_locality"}]}

Pasul 12: Depanare

Ștergeți asistentul anterior, dacă există unul

$ sudo rm -rf / usr / share / snips / assistant /

Pentru a schimba directorul în Asistent

cd / var / lib / snips / skills /

Pentru a clona conținutul repo la local

git clona

Pentru a rula scriptul setup.sh

./setup.sh

Activați mediul virtual

sursa venv / bin / activate

Rulați codul de acțiune

./action-.py

Pentru a da permisiunea Scriptului Python

chmod + x action-.py

Pasul 13: incintă

• Folosisem o carcasă cu rating IP pentru acest proiect
• În primul rând, am făcut găurile necesare pentru a monta circuitele și sloturile pentru cablul de alimentare și cablul HDMI.
• Apoi am așezat toate Raspberry Pi în interiorul carcasei și le înșurub ferm.
• Am făcut o mică deschidere pentru difuzor și microfon și am acoperit-o folosind o bucată mică de foaie acrilică.
• Conectați ferm difuzorul la pălăria ReSpeaker.
• În cele din urmă, toate șuruburile sunt montate ferm, iar cablul de alimentare este introdus printr-un slot.
• Așa arată în cele din urmă AI: D

Pasul 14: Lucrarea AI

Puteți găsi datele care sunt monitorizate folosind Snips-watch

Acum este ora spectacolului. Am început să fac cu salutări simple AI. Uitați-vă la funcționarea sa.

AI Trainer a fost programat pentru cuvinte limitate. Acest lucru poate fi extins cu mici modificări. Acest lucru îi ajută pe elevi să memoreze sensul mai repede decât metoda tradițională.

Atentie: acest proiect este instruit pentru aproximativ 25 de cuvinte. Poate fi extins în continuare prin modificări minore în codul de acțiune.

Puteți găsi scripturile de acțiune în depozitul meu Github atașat.

Proiect Repo pentru Greetings AI -

Proiect Repo pentru Trainer AI -

Link către aplicația mea:

Întreaga configurare costă aproximativ 115 USD, care poate fi achiziționată de la SNIPS, iar această soluție este foarte ieftină și eficientă în comparație cu metodele tradiționale. Aproximativ peste 100 000 de teste au fost luate în India și acest produs va fi cel mai bun supliment pentru persoanele care iau GRE.

Dă un deget mare dacă te-a ajutat cu adevărat și urmărește canalul meu pentru proiecte interesante.:) Distribuiți acest videoclip dacă doriți. Mă bucur că v-ați abonat: https://console.snips.ai/store/en/skill_xBKlxnE5K… Vă mulțumim pentru lectură!