AI cu Grove Zero și Codecraft (Scratch 3.0): 5 pași (cu imagini)

2024 Autor: John Day | [email protected]. Modificat ultima dată: 2024-01-30 11:42

În acest articol vom construi trei proiecte utilizând funcțiile AI ale Codecraft, un mediu de programare grafic bazat pe Scratch 3.0. Codecraft este dezvoltat și întreținut de educația TinkerGen și este gratuit.

AI și subsetul său, învățarea automată, a devenit o parte integrantă a vieții noastre în ultimii 10 ani. Programele școlare din multe țări includ cunoștințe de AI și învățare automată, dar poate fi dificil pentru un profesor obișnuit să creeze materiale de lecție pentru predarea acestui subiect fără instrumente adecvate. Utilizarea bibliotecilor de învățare automată, chiar și cele mai ușor de utilizat, cum ar fi Keras, pentru a construi o aplicație cu care elevii pot interacționa, poate fi o sarcină care necesită mult timp și descurajantă. Acesta este locul în care Codecraft ar putea ajuta - are un set bogat de aplicații automate de învățare automată pe care profesorul le poate folosi pentru a explica și demonstra conceptele legate de inteligența artificială. Să le aruncăm o privire!

Pasul 1: Prezentare generală a extensiilor AI

Deschideți editorul online Codecraft la

Faceți clic pe modul Stage și apoi pentru a adăuga butonul de extensie în partea de jos a filei de navigare a blocurilor.

Veți vedea că sunt disponibile trei extensii AI:

- Servicii cognitive --- modele de învățare automată pentru procesarea fluxului video și a sunetului live

- Mașină de învățat --- poate fi utilizată pentru instruirea unui model de clasificare cu fotografii făcute cu camera dvs.

- Traducere --- utilizează învățarea automată pentru traducere

În acest articol ne vom concentra pe serviciile cognitive și pe utilizarea acestor funcții pentru a controla hardware-ul Grove Zero. Comunicarea fără fir între computer și Grove Zero este încă în curs de desfășurare și voi actualiza articolul de îndată ce va fi disponibil. Deocamdată vom folosi conexiunea cu fir pentru a transmite mesajele între modulul Grove Zero și computer.

Pasul 2: Joacă Space Invaders cu nasul tău

Pentru prima sarcină vom folosi doar modul scenă fără hardware. Codecraft are o mulțime de exemple pentru a începe cu programarea - unul dintre aceste exemple este programarea jocului clasic de Space Invaders în modul Codecraft Stage. Vom extinde acest exemplu și vom adăuga capacitatea de a controla luptătorul din joc cu nasul dvs. folosind serviciile cognitive.

Faceți clic pe butonul Exemple. Deschideți exemplul SpaceInvaders. Trebuie doar să schimbăm partea relevantă pentru mișcare. Pentru aceasta vom obține poziția x a nasului pe fața detectată în fluxul video live, salvați-o în poziția variabilă. Apoi, dacă valoarea poz este mai mare de 50, ne mutăm luptătorul spațial spre dreapta, dacă este mai mic de -50, atunci mutăm luptătorul spre stânga. Asta este. Încearcă! Dacă simțiți că viteza de mișcare a luptătorului este prea rapidă, puteți schimba schimbarea x cu … bloc la un număr mai mic.

În continuare vom extinde această funcționalitate pentru a controla mașina Grove Zero și a o face să meargă înainte / înapoi / stânga / dreapta.

Pasul 3: Controlați mașina Grove Zero cu Codecraft AI

Să începem prin a scrie cod în modul scenă - aceasta este partea care este responsabilă pentru analiza fluxului video și transmiterea comenzilor către Grove Zero.

1) Executăm codul în prima captură de ecran până când este apăsat butonul spațiu. După aceea trimitem comanda stop.

2) Repetați în interior până când blocați verificăm pozele x și pozele y ale nasului unei fețe detectate și le salvăm în variabilele corespunzătoare.

3) Dacă valoarea absolută a x-pos este mai mică de 21 (adică este între -20 și 20, deci aproape de centrul imaginii), vom continua să verificăm y-pos pentru a determina dacă mașina ar trebui să meargă înainte sau înapoi

4) În caz contrar, verificăm dacă mașina trebuie să meargă la stânga sau la dreapta

Acum să trecem la fila Dispozitiv și să scriem cod scurt pentru mașina Grove Zero. Vom folosi Când primesc bloc, care este responsabil pentru primirea comenzilor de difuzare interne. Nu trebuie confundat cu Când recepționează radio, care este utilizat pentru comunicarea Bluetooth. Consultați captura de ecran pentru detalii, codul este destul de simplu.

Conectați mașina dvs. Grove Zero asamblată la computer și apăsați pe butonul Conectare din Codecraft. Treceți la modul de depanare online - care va permite Grove Mainboard să primească comenzi de difuzare prin cablu. Apoi treceți în modul scenă și apăsați pe steag. Mașina ar trebui să se miște acum, încercați să o controlați cu nasul:)

Pasul 4: Urmărirea liniei cu control vocal

Există o hartă în kitul auto Grove Zero, care este inițial pentru a juca mini-jocul Collect the Coins. Putem să-l refacem pentru utilizarea recunoașterii vocale în Codecraft pentru a da comenzi mașinii pe ce cale să pornim la răscruce.

Partea din modul scenă aici este mai puțin complicată decât în exemplul anterior. Ceea ce facem este:

1) La primirea mesajului difuzat choose_direction, recunoașteți fragmentul de vorbire și salvați-l în variabila de rezultat.

2) Continuați să recunoașteți până când rezultatul NU este necunoscut.

3) Comparați rezultatul cu două șiruri - „stânga” și „dreapta”. Transmiteți mesajul corespunzător mașinii Grove Zero.

Codul care rulează în mașina Grove Zero este puțin mai complicat de data aceasta, dar în esență urmează această logică:

1) La pornire, difuzați mesajul de redirecționare

2) La primirea mesajului de redirecționare, începeți să urmați linia. Dacă linia se pierde, opriți motoarele și difuzați

alege_direcție. Aici se execută codul în modul Stage.

3) Dacă mesajul a fost primit, începeți să vă întoarceți la stânga și apoi reveniți la modul următor linie.

Dacă mesajul primit din dreapta începe să se întoarcă la dreapta și apoi reveniți la modul următor linie.

Pasul 5: În culise

Modelele de rețea neuronală utilizate în aplicația de mai sus sunt rulate local în browserul dvs., care are câteva avantaje distincte în comparație cu trimiterea datelor în cloud pentru procesare: latență mai mică și intimitate mai bună. O serie de rețele neuronale sunt utilizate în serviciile cognitive - Clasificarea sunetului pentru comenzile de vorbire (, Face Landmark Detection, Face Expression Recognition și Age estimation).

În acest articol am explorat funcționalitatea de bază a uneia dintre extensiile Codecraft AI - serviciile cognitive. Există mai multe moduri în care vă puteți baza pe aceste exemple pentru a face aplicații și mai distractive și mai interesante!

Dacă decideți să încercați, fie el cu Grove Zero sau doar folosind modul Stage, împărtășiți comentariile de mai jos. Pentru mai multe informații despre seria Grove Zero, Codecraft și alte componente hardware pentru producători și educatori STEM, vizitați site-ul nostru, TinkerGen a creat o campanie Kickstarter pentru MARK (Make A Robot Kit), un kit robot pentru predarea codificării, roboticii, AI!