Utilizarea fotogrametriei pentru a crea modele: 9 pași

2024 Autor: John Day | [email protected]. Modificat ultima dată: 2024-01-30 11:42

Cine sunt?

Sunt Samuel Conklin și sunt student la E. L. Liceul Meyers. Am experimentat fotogrametria în ultimele două luni și sper să vă ajut dacă alegeți să recreați acest produs. Sunt interesat să văd cum alte persoane pot folosi această tehnologie nouă și în continuă evoluție.

Ce este realitatea virtuală și SteamVR?

Realitatea virtuală este o nouă formă de expresie și experiență artistică. Este încă o nouă frontieră a tehnologiei, deoarece nenumărate companii și oameni lucrează pentru a îmbunătăți mediul. Îți faci un mare serviciu dacă nu ai încercat niciodată VR, deoarece încapsulează în totalitate sensul vederii și sunetului utilizatorului său. Una dintre platformele majore pentru realitatea virtuală este SteamVR-ul lui Valve. SteamVR permite utilizatorilor să partajeze în mod liber medii și să facă piese între ele fără costuri. Este în mare parte open-source și permite o multitudine de căști. Acestea includ, dar nu sunt limitate la seria HTC Vive, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality, etc. SteamVR este platforma pe care o folosim pentru a ne crea mediul.

Ce este fotogrametria și cum poate fi utilizată?

Fotogrametria este procesul de a face fotografii sau videoclipuri și de a transforma imaginile într-un model 3D. Cel mai faimos exemplu de utilizare a acestei tehnologii este Google Earth. Google folosește imagini din satelit și vederi de stradă pentru a reconstrui peisaje și clădiri. Privind la Google Earth, este clar că au avut puține imagini de la care să lucreze, astfel încât unele clădiri vor arăta greșite. Atunci când este utilizată corect, fotogrametria este un mod extrem de convingător de a crea modele 3D. Acest proiect folosește această tehnologie pentru a păstra repere istorice. Eroziunea și expunerea la elemente înseamnă că reperele istorice vor cădea în cele din urmă în paragină și oamenii vor uita de ele. Folosind fotogrametria, suntem capabili să păstrăm totul digital, astfel încât generațiile viitoare vor putea experimenta și aprecia aceste structuri. Acest lucru înseamnă, de asemenea, că mai mulți oameni din întreaga lume ar putea experimenta alte culturi fără costul sau riscul călătoriei.

De ce provizii am nevoie?

Pentru acest proiect, am folosit Reality Capture, SteamVR și Krita. Există programe Autodesk, Agisoft și Zephyr care pot fi utilizate în loc de Reality Capture dacă nu aveți GPU-ul Nvidia necesar pentru al rula. Photoshop sau alte programe de editare a fotografiilor pot fi folosite în locul lui Krita, dar, din moment ce este gratuit și public, am ales să îl folosesc pentru acest proiect. De asemenea, veți avea nevoie de o cască desktop VR care se poate conecta direct la computer. În cele din urmă, este nevoie de o cameră de înaltă calitate. O cameră mobilă este decentă, dar am folosit un Nikon D7000, deoarece Reality Capture poate detecta automat diafragma camerei, ceea ce duce la modele de calitate superioară.

Pasul 1: Fotografierea

Aceasta este cea mai importantă parte a acestui proiect, deoarece trebuie să îl faceți corect într-o singură fotografie. Dacă nu, va trebui să vă întoarceți la locație și să reluați totul.

În primul rând, va trebui să găsiți o locație și o structură adecvate. Structura trebuie să fie mare și ușor de identificat. Aceasta înseamnă că software-ul de fotogrametrie va putea detecta diferențele dintre structură și fundal.

De obicei, fotografierea într-o zi acoperită este cea mai bună modalitate de a merge. Acest lucru se datorează faptului că o zi însorită are posibilitatea de a supraexpune unele fotografii și de a subexpune altele. De asemenea, ar putea crea umbre nedorite. Un model cu puține sau deloc umbre va ușura iluminarea în secțiunea de dezvoltare a nivelului. În plus, software-ul are nevoie de echilibrul culorilor pentru a rămâne același cu fiecare fotografie, deoarece folosește culori pentru a calcula dimensiunea obiectului. Totuși, fotografierea într-o zi acoperită va îmbunătăți calitatea structurii. Norii din cer vor acționa ca un difuzor natural al camerei. Acesta va distribui lumina mai uniform și înseamnă că modelul va deveni precis în timpul procesului de redare.

Ultimul sfat este să faci cât mai multe fotografii posibil. Majoritatea programelor vor alege și alege ce fotografii vor folosi pentru produsul final. Făcând mai multe fotografii, totul va fi mai exact și oferă programului spațiu de respirație. Am avut aproximativ 150-300 de fotografii pentru fiecare model.

Pasul 2: Noțiuni introductive despre software-ul de fotogrametrie

Acum, vom importa fotografiile în software. Rețineți că Reality Capture necesită o placă grafică Nvidia. Nu puteți trece de secțiunea Alinierea imaginilor fără ea.

Dacă aveți un folder cu toate imaginile pe care doriți să le utilizați, alegeți opțiunea Folder din colțul din stânga sus. Aceasta vă va duce la Manager fișiere și puteți alege folderul. Intrările vă vor permite să alegeți fotografii individuale cu File Manager.

În continuare, vom începe procesul de construire a modelului. În partea de sus a ecranului, sub Flux de lucru, există o secțiune Proces. Vrem să apăsăm butonul Start mai mare. Aceasta va începe să alinieze imaginile. A patra fotografie arată pe scurt ce se întâmplă în timpul acestui proces. Va recunoaște ochiul stâng al căprioarelor și va compara distanța cu alte fotografii. Va continua să compare diferite fotografii până când va trece prin toate combinațiile posibile. Acest pas este complet dacă puteți vedea puncte mici care seamănă cu structura.

Pasul 3: Calculați și simplificați

Următorul pas este calcularea modelului. Pentru a face acest lucru, facem clic pe Calculare model în secțiunea Proces. Aceasta va traduce direct tot ce găsește în fotografii în formă 3D. Rezultatele sunt aproape apropiate de ceea ce vrem să arate modelul, dar există trei probleme cu această versiune a modelului. În primul rând, există găuri în model care nu se află în structura vieții reale. În al doilea rând, suprafața este mult prea accidentată. Deoarece programul se apropie de calculele sale, va face în mod greșit unele suprafețe netede. În al treilea rând, există prea multe triunghiuri. Fiecare model din Reality Capture este creat cu triunghiuri mici. Fiecare triunghi reprezintă o mică suprafață a modelului. Vrem cât mai puțin triunghiuri posibil pentru a optimiza modelul. Dacă există prea multe triunghiuri, aceasta poate cauza unele probleme de performanță.

Aceste probleme pot fi rezolvate cu instrumentul Simplify. Toate modelele vor avea 3, 000, 000 de triunghiuri după etapa Calculare model și putem alege să facem acest număr mai mare sau mai mic. Pentru toate modelele precum cele găsite în acest proiect, am redus numărul de triunghiuri la 1, 000, 000. Rezultatul poate fi găsit în a doua imagine, unde toate suprafețele accidentate sunt mai netede și există mai puține găuri. În plus, cu mai puține triunghiuri de redat, performanța va fi mai bună atunci când intrăm în VR.

Pasul 4: Culoare și textură

Acum modelul va avea nevoie de culoare și textură pentru a-l face și mai real pentru viață. Aceste două părți sunt similare în ceea ce realizează, dar sunt diferite în modul în care funcționează. Folosind Culoare, care se găsește în secțiunea Proces, programul va colora în model. Instrumentul va face fotografiile folosite pentru a crea modelul și vă va înfășura imaginile în jurul diferitelor suprafețe ale modelului. Textura, pe de altă parte, se va colora în părțile simplificate ale modelului. Privind prima imagine, este clar vizibil modul în care programul a înfășurat imaginile în jurul modelului, dar în a doua imagine după procesul de textură, laturile ascuțite ale imaginilor sunt acum netezite.

Pasul 5: Export și SteamVR

În Reality Capture, vom transfera modelele pe SteamVR. În partea de sus a ecranului, sub Export, selectați Mesh, care se află lângă secțiunea Proces. Ar trebui să vedeți această fereastră pop-up care vă permite să modificați setările și parametrii modelului. Cel mai bine este să păstrați toate setările la setările implicite, cu excepția modificării formatului de textură JPEG. Programul va exporta acum un fișier în format OBJ, care este fișierul mesh și un JPEG, care este fișierul de textură pentru model. În scopuri de referință, JPEG ar trebui să arate ca a doua imagine din acest pas.

Acum, trebuie să importăm modelele noastre în SteamVR. Mai întâi, deschideți SteamVR, apoi navigați la Creare / Modificare mediu, care se află sub fila Atelier. Instrumentele SteamVR Workshop se vor deschide acum. Alegeți Creare supliment gol și faceți clic pe Instrumente de lansare.

Browserul pentru active se va deschide acum cu diferite materiale și modele deja incluse. În stânga sus, există o pictogramă cu simbolul Hammer. Acesta este editorul SteamVR Hammer încorporat, care vă oferă posibilitatea de a crea hărți. Hărțile sunt mediul în care va locui utilizatorul VR în timpul jocului.

Pasul 6: Crearea hărții dvs. SteamVR

Cu editorul Hammer deschis în SteamVR, putem crea acum un cub. Vrem să creăm un cub pentru a începe să construim mediul. Programul vă permite să modificați dimensiunea cubului înainte ca acesta să fie fixat în poziție. În acest moment, doar suprafețele exterioare ale cubului sunt vizibile. Apăsând CTRL + F, toate suprafețele vor fi inversate și vor transforma cubul într-o cameră. În plus, va trebui să adăugați un obiect numit info_player_start, care să-i spună lui Hammer unde să apară utilizatorul la încărcarea programului.

Pentru a face camera mai realistă, trebuie să adăugăm și texturi. Putem adăuga câteva imagini personalizate prin Editorul de materiale. Aceasta este pictograma circulară din dreapta butonului Hammer din Asset Browser. Selectarea Editorului de materiale vă va duce la o nouă fereastră care vă va permite să importați o imagine care să fie realizată într-o textură. Puteți utiliza propriile imagini sau puteți obține imagini de pe site-uri web cu textură stoc, cum ar fi textures.com. Faceți clic pe butonul Fișier de sub Selecția culorii pentru a selecta imaginea pe care doriți să o utilizați. După selectarea imaginii, asigurați-vă că ați salvat-o apăsând pictograma Floppy Disk din stânga sus a ferestrei Editorului de materiale. Acum, închideți Editorul de materiale și navigați înapoi la Asset Browser. Aici, căutați fișierul de textură pe care doriți să îl utilizați și apoi faceți clic și trageți-l în Hammer Editor. În această fereastră, puteți aplica textura pe diferite fețe ale cubului.

De asemenea, trebuie să adăugăm lumină în cameră. Pentru a face acest lucru, punem un light_omni sau un light_spot pe harta noastră, care se găsește în secțiunea entitate din stânga vizualizării hărții. O lumină_omni va străluci o lumină în toate direcțiile, în timp ce o lumină_spot luminează într-o direcție specifică. Pentru acest proiect, am folosit cel puțin două light_spots pentru fiecare obiect și un light_omni pentru a ajuta la iluminarea camerei.

Pasul 7: Adăugarea obiectelor noastre pe hartă

Acum, este timpul să începem să ne mutăm obiectele în harta noastră. În browserul de active, în partea dreaptă a pictogramei Editor material este Editorul model care seamănă cu o pictogramă umanoidă. La deschiderea Model Editor, veți obține opțiunea de a naviga sau de a crea un nou VDML, care este versiunea Hammer Editor a unui fișier OBJ. Selectați opțiunea pentru a crea un nou VDML și vă va cere să creați un folder. Acest folder va stoca fișierul VDML. Asigurați-vă că se află în folderul Add On și apăsați Continue.

Acest lucru vă va duce la un ecran cu modelul dvs., care are o textură albă. Pentru a adăuga textura pentru acest model, selectați Materiale din bara de instrumente din stânga. Aceasta vă va duce la Editorul de materiale și puteți selecta JPEG din exportul Reality Capture. Asigurați-vă că salvați textura și modelul făcând clic pe pictograma Dischetă. Reveniți la Hammer Editor.

În Hammer, puteți trage și plasa modelul din browserul de active pe hartă. Cel mai probabil, modelul va fi mic și va trebui să îl redimensionați. Apăsând T de pe tastatură, îi puteți schimba poziția pe hartă. Apăsarea E va schimba proporțiile modelului, în timp ce R îl va roti.

Pasul 8: Realizarea etichetelor obiectelor

Etichetele de obiecte văzute lângă fiecare reper oferă context și istoric pentru a îmbunătăți experiența utilizatorului. Pentru etichetele mele de obiecte, am făcut pur și simplu fotografii ale plăcilor informaționale din fiecare locație pentru a înregistra cu ușurință informațiile importante pe care doream să le folosesc mai târziu. Am folosit apoi Krita, un program gratuit de editare a fotografiilor, pentru a crea etichetele obiectelor, inclusiv imagini și text suplimentare.

Pentru partea Miner Park și partea Anchor a camerei, nu au existat probleme la adăugarea etichetelor ca texturi. Pur și simplu adăugați-le în browserul dvs. de active prin Editorul de materiale și adăugați imaginea la un bloc care poate fi creat în Editorul de ciocane. Probleme au apărut când am creat plăci pentru cealaltă parte a camerei. Tot textul și imaginile erau înapoi și nu exista o modalitate clară de a inversa texturile din editor. Pentru a remedia acest lucru, m-am întors în Krita și am inversat scândurile pentru cerb și urs și, din fericire, acest lucru a rezolvat problema.

În plus, am adăugat imagini diverse ale lui Wilkes-Barre, deoarece am vrut să creez o cameră care să aibă senzația și ambianța unui muzeu tip boutique.

Pasul 9: Concluzie

În concluzie, atât realitatea virtuală, cât și fotogrametria au puterea de a îmbunătăți considerabil nenumărate industrii, inclusiv, dar fără a se limita la sport, imobiliare și criminalistică. Astăzi, am folosit fotogrametria pentru a păstra câteva părți mici, dar importante din istoria locală a orașului meu natal. VR și fotogrametria sunt ambele tehnologii experimentale care uneori vă pot provoca. În ciuda unor neajunsuri, cantitatea de utilizări inovatoare pentru ambele procese este interesantă și nelimitată. Vă mulțumesc că ați citit despre acest proiect și sper că acest lucru v-a inspirat să încercați ceva nou cu Realitatea Virtuală.

Link-ul de descărcare pentru proiect poate fi găsit aici.