Vizualizarea datelor de la Magicbit în AWS: 5 pași

2024 Autor: John Day | [email protected]. Modificat ultima dată: 2024-01-30 11:41

Datele colectate de la senzorii conectați la Magicbit vor fi publicate pe baza AWS IOT prin MQTT pentru a fi vizualizate grafic în timp real. Folosim magicbit ca placă de dezvoltare în acest proiect care se bazează pe ESP32. Prin urmare, orice placă de dezvoltare ESP32 poate fi utilizată în acest proiect.

Provizii:

Magicbit

Pasul 1: Poveste

Acest proiect vizează conectarea dispozitivului Magicbit la AWS Cloud prin MQTT. Datele trimise prin MQTT sunt analizate și vizualizate în cloud folosind serviciile AWS. Deci sa începem

Mai întâi trebuie să accesați AWS Console și să vă conectați. În scopuri de învățare, puteți utiliza opțiunea de nivel gratuit oferită de AWS. Va fi suficient pentru acest proiect.

Pentru ao simplifica, voi împărți proiectul în două secțiuni.

Aceasta va fi prima etapă a proiectului nostru. La sfârșitul primei etape datele vor fi stocate în cupele S3.

Serviciile AWS care vor fi utilizate în prima secțiune,

• Kinesis Firehose
• AWS Glue
• AWS S3

Mai întâi navigați la serviciul AWS Kinesis.

Alegeți Kinesis Data Firehose așa cum se arată mai jos și faceți clic pe Creare

Apoi veți fi direcționat către Pasul 1 de creare a unui serviciu Firehose. Introduceți un nume de flux de livrare și alegeți Putere directă sau alte surse. Faceți clic pe Următorul.

În fereastra Pasului 2 lăsați totul ca implicit și faceți clic pe Următorul. După crearea serviciului AWS Glue, vom reveni pentru a edita acest pas.

La Pasul 3 alegeți o cupă S3 dacă ați creat-o anterior. În caz contrar, faceți clic pe creați și creați o găleată. În secțiunea prefix S3 utilizați dest / și în prefix eroare introduceți eroare /. Puteți introduce orice nume pentru cele două de mai sus. Dar, pentru ușurință, vom continua cu un nume comun. Asigurați-vă că ați creat un folder numit dest în bucket-ul pe care l-ați ales. Faceți clic pe Următorul.

La Pasul 4 alegeți dimensiunea minimă a bufferului și intervalul de buffer pentru transferul de date în timp real. În secțiunea Permisiuni alegeți Creați sau actualizați rolul IAM KinesisFirehoseServiceRole. Păstrați totul implicit. Faceți clic pe următor.

În secțiunea următoare va fi afișată o revizuire a modificărilor pe care le-ați făcut. Faceți clic pe OK. Apoi, veți avea un Kinesis Firehose funcțional.

Dacă ați creat cu succes serviciul Firehose, veți obține așa ceva.

Pasul 2: Testarea furtunului de foc și a cupei S3

Pentru a testa dacă furtunul de foc și cupa S3 funcționează corect, selectați nucleul IOT din consolă. Veți fi direcționat către o pagină ca aceasta. Alegeți Regula și creați o regulă.

Ce este regula AWS IOT?

Este utilizat pentru a redirecționa orice date primite de la MQTT către un anumit serviciu. În acest exemplu, vom transmite Kinesis Firehose.

Alegeți un nume pentru regulă. Lăsați declarația de regulă și interogare așa cum este. Aceasta ne spune că orice publicat pe subiectul iot / topic va fi transmis către kinesis Firehose prin această regulă.

Sub secțiunea Setați una sau mai multe acțiuni, faceți clic pe adăugați acțiune. Alegeți Trimiteți un mesaj Amazon Kinesis Firehose Stream. Alegeți configurare. Apoi selectați numele fluxului firehose creat mai devreme. Apoi faceți clic pe Creați un rol și creați un rol. Acum ați creat cu succes un rol în AWS.

Orice mesaj pe care îl publicați va fi redirecționat prin intermediul Kinesis Firehose către cupele S3.

Rețineți că Firehose trimite date când bufferul său este umplut sau când intervalul bufferului este atins. Intervalul tampon minim este de 60 sec.

Acum putem trece la a doua parte a proiectului. Aceasta va fi diagrama noastră de flux de date.

Pasul 3: Configurarea AWS Glue

De ce avem nevoie de AWS Glue și AWS Athena?

Datele stocate în cupe S3 nu pot fi utilizate direct ca intrare în AWS Quicksight. Mai întâi trebuie să aranjăm datele sub formă de tabele. Pentru aceasta folosim cele două servicii de mai sus.

Accesați AWS Glue. Selectați Crawler pe bara de instrumente laterală. Apoi selectați Adăugare crawler.

În primul pas introduceți un nume pentru crawler. Faceți clic pe următor. În pasul următor lăsați-l ca implicit. În al treilea pas introduceți calea către cupa S3 aleasă. Lăsați următoarea fereastră ca implicită. În a cincea fereastră introduceți orice rol IAM. În pasul următor a ales frecvența de rulare a serviciului.

Este recomandabil să selectați personalizat în caseta verticală și să alegeți un timp minim.

În pasul următor faceți clic pe Adăugare bază de date și apoi pe următor. Faceți clic pe Finalizare.

Acum ar trebui să integrăm Kinesis Firehose cu AWS Glue pe care l-am creat.

Accesați AWS Kinesis firehose pe care l-am creat și faceți clic pe Editare.

Derulați în jos până la secțiunea Conversie format înregistrare și alegeți Activat.

Ați ales formatul de ieșire ca parchet Apache. Pentru restul detaliilor completați detaliile bazei de date Glue pe care ați creat-o. Ar trebui creat un tabel în baza de date și numele ar trebui adăugat în această secțiune. Faceți clic pe Salvare.

Pasul 4: Configurarea AWS Athena

Alegeți baza de date și tabelul de date pe care le-ați creat. În secțiunea de interogare ar trebui adăugat acest cod.

table-name ar trebui să fie înlocuit cu numele real al tabelului de lipici pe care l-ați creat.

Faceți clic pe Executare interogare. Dacă funcționează, datele stocate în cupa AWS S3 ar trebui să fie afișate ca un tabel de date.

Acum suntem gata să vizualizăm datele obținute.

Pasul 5: Configurarea QuickSight

Navigați la AWS Quicksight

Faceți clic pe Analiză nouă în colțul din dreapta sus și apoi faceți clic pe Set de date nou.

Alege Athena din listă. Introduceți orice nume de sursă de date pe cardul pop-up.

Selectați baza de date Glue din caseta derulantă și din tabelul relevant. Aceasta vă va duce la această pagină.

Glisați și fixați orice câmp din lista de câmpuri și selectați orice tip vizual.

Acum puteți vizualiza orice date trimise de pe MagicBit folosind serviciile AWS !!!

Nu uitați să permiteți accesul la rapiditate pentru gălețile S3 respective pentru a vizualiza datele din ele.