Partea 2. Modelul ThinkBioT cu Google AutoML: 8 pași

2024 Autor: John Day | [email protected]. Modificat ultima dată: 2024-01-30 11:43

ThinkBioT este conceput pentru a fi „Plug and Play”, cu modele TensorFlow Lite compatibile Edge TPU.

În această documentație vom acoperi crearea spectrogramelor, formatarea datelor dvs. și utilizarea Google AutoML.

Codul din acest tutorial va fi scris în bash, deci va fi compatibil cu mai multe platforme.

Dependențe

• Cu toate acestea, înainte de a începe, va trebui să instalați Sox un program audio de linie de comandă compatibil cu dispozitivele Windows, Mac și Linux.
• Dacă vă aflați pe un dispozitiv Windows, cel mai simplu mod de a rula script-uri bash este prin Git, așa că aș recomanda și descărca și instala acest lucru ca fiind util în mai multe moduri,
• Pentru editarea codului, folosiți editorul preferat sau instalați NotePad ++ pentru Windows sau Atom pentru alte sisteme de operare.

** Dacă aveți un model TensorFlow existent sau doriți să încercați să transferați învățarea cu un model existent, vă rugăm să consultați documentația Google Coral.

Pasul 1: configurați un compartiment Google Cloud Storage

1. Conectați-vă la contul dvs. Gmail (sau creați unul dacă nu aveți un cont Google)

2. Accesați pagina de selecție a proiectului și creați un proiect nou pentru fișierele de model și spectrogramă. Va trebui să activați facturarea pentru a progresa în continuare.

3. Accesați https://cloud.google.com/storage/ și apăsați butonul Creați cupă din partea de sus a paginii.

4. Introduceți numele cupei dorite și creați cupa acceptând setările implicite.

Pasul 2: Formatați-vă datele și creați set de date CSV

Am proiectat un script util pentru a crea fișierul dataset.csv necesar pentru a vă crea modelul. Fișierul setului de date leagă imaginile din cupa dvs. de etichetele lor din setul de date..

1. Descărcați depozitul ThinkBioT din GitHub și

2. Copiați fișierul tbt_spect_example.sh din directorul Tools într-un folder nou de pe desktop.

3. Adăugați fișierele audio pe care doriți să le utilizați în modelul dvs., plasându-le în foldere care au eticheta lor (adică în ce ați dori să fie sortate. De exemplu, dacă doriți să identificați câini sau pisici, ați putea avea un folder câine, cu sunete de scoarță SAU folder numit pisică cu sunete de pisică etc.

4. Deschideți tbt_spect_example.sh cu Notepad ++ și înlocuiți „yourbucknamename” în linia 54 cu numele Google Storage Bucket. De exemplu, dacă cupa dvs. a fost numită myModelBucket, linia va fi schimbată în

bucket = "gs: // myModelBucket / spectro-data /"

5. Rulați codul tastând următoarele în terminalul dvs. Bash, codul va rula și va crea eticheta fișier csv și un director numit spectro-date pe biroul dvs. cu spectrogramele rezultate.

sh tbt_spect_example.sh

Pasul 3: Încărcați spectrogramele în cupa dvs

Există câteva modalități de a încărca în Google Storage, cel mai simplu este să încărcați direct un folder direct;

1. Faceți clic pe numele cupei din pagina Google Storage.

2. Selectați butonul „UPLOAD FOLDER” și alegeți directorul „spectro-data /” creat în ultimul pas.

SAU

2. Dacă aveți o cantitate mare de fișiere, puteți crea manual directorul „spectro-date /” selectând „CREARE FOLDER”, apoi navigați în folder și selectați „ÎNCARCĂ FIȘIERE”. Aceasta poate fi o opțiune excelentă pentru seturi de date mari, deoarece puteți încărca spectrogramele în secțiuni, chiar și folosind mai multe computere pentru a crește viteza de încărcare.

SAU

2. Dacă sunteți un utilizator avansat, puteți încărca și prin Google Cloud Shell;

gsutil cp spectro-data / * gs: // your-bucket-name / spectro-data /

Ar trebui să aveți acum o găleată plină de spectrograme destul de drăguțe!

Pasul 4: Încărcați setul de date Csv

Acum trebuie să încărcăm fișierul model-labels.csv în directorul dvs. „spectro-data /” din Google Storage, în esență la fel cu ultimul pas, doar încărcați un singur fișier în loc de multe.

1. Faceți clic pe numele cupei din pagina Google Storage.

2. Selectați butonul „UPLOAD FILE și încărcați fișierul model-labels.csv pe care l-ați creat anterior.

Pasul 5: Creați set de date

1. În primul rând, va trebui să găsiți API-ul AutoML VIsion, poate fi puțin dificil! Cel mai simplu mod este să căutați „viziune automată” în bara de căutare a spațiului de stocare Google Cloud (în imagine).

2. După ce faceți clic pe linkul API, va trebui să activați API-ul.

3. Acum veți fi în tabloul de bord AutoML Vision Dashboard (în imagine) faceți clic pe butonul noului set de date și selectați Single label și opțiunea „Selectați un fișier CSV”. Apoi veți include linkul către fișierul model-labels.csv în găleată de stocare. Dacă ați urmat acest tutorial, acesta va fi conform celor de mai jos

gs: //yourBucketName/spectro-data/model-labelsBal.csv

4. Apoi apăsați Continue pentru a crea setul de date. Este posibil să dureze ceva timp pentru a crea.

Pasul 6: Creați modelul AutoML

După ce ați primit e-mailul dvs., informându-vă că setul de date a fost creat, sunteți gata să creați noul dvs. model.

1. Apăsați butonul TRAIN
2. Selectați tipul de model: Edge și estimări ale latenței modelului: Edge TPU și lăsați celelalte opțiuni ca implicite inițial, cu care vă poate dori să experimentați apoi mai târziu.
3. Acum modelul dvs. se va antrena, va dura ceva timp și veți primi un e-mail când va fi descărcat.

Notă: Dacă butonul de antrenament nu este disponibil, este posibil să aveți probleme cu setul de date. Dacă aveți mai puțin de 10 din fiecare clasă (etichetă), sistemul nu vă va permite să instruiți un model, deci este posibil să fiți nevoit să adăugați imagini suplimentare. Merită să aruncați o privire la Google AutoML Video dacă aveți nevoie de clarificări.

Pasul 7: Testați-vă modelul

După ce primiți e-mailul de finalizare a modelului, faceți clic pe link pentru a reveni la API-ul AutoML Vision.

1. Acum veți putea vizualiza rezultatele dvs. și matricea de confuzie pentru modelul dvs.

2. Următorul pas este să vă testați modelul, mergeți la „TEST & USE” sau „PREDICT”, ciudat, par să existe 2 GUI-uri pentru utilizatori, ambele pe care le-am imaginat, dar ambele opțiuni au aceeași funcționalitate.

3. Acum puteți încărca o spectrogramă de test. Pentru a face o singură spectrogramă puteți utiliza programul tbt_make_one_spect.sh din ThinkBioT Github. Pur și simplu plasați-l într-un folder cu wav-ul pe care doriți să-l convertiți într-o spectrogramă deschideți o fereastră (sau terminal) Git Bash și utilizați codul de mai jos, înlocuind numele fișierului.

sh tbt_make_one_spect.sh yourWavName.wav

4. Acum pur și simplu încărcați spectrograma și verificați rezultatul!

Pasul 8: Instalați-vă modelul în ThinkBioT

Pentru a utiliza noul dvs. model strălucitor, pur și simplu introduceți modelul și fișierul txt în folderul CModel;

pi> ThinkBioT> ClassProcess> CModel

Acum sunteți gata să utilizați ThinkBioT:)

** NB ** Dacă utilizați modelul în afara cadrului ThinkBioT, va trebui să editați documentul etichetei, adăugând umbere la începutul fiecărei linii, deoarece funcția „readlabels” încorporată a celor mai recente interpretări tflite presupune că acestea sunt acolo. Am scris o funcție personalizată în cadrul ThinkBioT classify_spect.py ca o lucrare în jurul căreia puteți folosi în propriul cod:)

def ReadLabelFile (file_path):

contor = 0 cu deschis (file_path, 'r', encoding = 'utf-8') ca f: lines = f.readlines () ret = {} pentru line in lines: ret [int (counter)] = line.strip () contor = contor + 1 retur ret