Prelucrare cantimetrică a imaginii: 5 pași

2024 Autor: John Day | [email protected]. Modificat ultima dată: 2024-01-30 11:45

(Figura de mai sus ilustrează comparația metodei de procesare a imaginii existente cu procesarea cuantimetrică a imaginii. Rețineți rezultatul îmbunătățit. Imaginea din dreapta sus arată artefacte ciudate care provin din presupunerea incorectă că imaginile măsoară ceva precum lumina. Imaginea din dreapta jos arată un rezultat mai bun făcând același lucru cuantimetric.)

În acest Instructable veți învăța cum să îmbunătățiți foarte mult performanțele sistemelor de imagistică sau de detectare a vederii existente utilizând un concept foarte simplu: detectarea imaginii cu cantitatea

Procesarea imaginilor cantimetrice se îmbunătățește considerabil cu privire la oricare dintre următoarele:

• Prelucrarea imaginilor existente, cum ar fi dezblocarea imaginii;
• Învățarea automată, viziunea computerizată și recunoașterea tiparelor;
• Recunoscător de față portabil (vezi https://wearcam.org/vmp.pdf), viziune bazată pe AI și HI etc.

Ideea de bază este de a pre-procesa și post-procesa imaginile în mod cuantimetric, după cum urmează:

1. Extindeți intervalul dinamic al imaginii sau imaginilor;
2. Procesați imaginea sau imaginile așa cum ați face în mod normal;
3. Comprimă intervalul dinamic al imaginii sau imaginilor (adică anulează pasul 1).

În Instructables anterioare, am predat câteva aspecte ale detectării HDR (High Dynamic Range) și a detectării cuantimetrice, de ex. liniaritate, suprapunere etc.

Acum, să folosim aceste cunoștințe.

Luați orice proces existent pe care doriți să îl utilizați. Exemplul pe care îl voi arăta este deblurarea imaginii, dar îl puteți folosi și pentru aproape orice altceva.

Pasul 1: extindeți gama dinamică a imaginii sau a imaginilor dvs

(Cifre adaptate din „Procesarea inteligentă a imaginilor”, seria John Wiley and Sons Interscience, Steve Mann, noiembrie 2001)

Primul pas este extinderea gamei dinamice a imaginii de intrare.

În mod ideal ar trebui să determinați mai întâi funcția de răspuns a camerei, f, și apoi să aplicați răspunsul invers, f invers, la imagine.

Camerele tipice sunt compresive în intervalul dinamic, deci dorim în mod obișnuit să aplicăm o funcție expansivă.

Dacă nu cunoașteți funcția de răspuns, începeți prin a încerca ceva simplu, cum ar fi încărcarea imaginii într-o matrice de imagini, aruncarea variabilelor într-un tip de date precum (float) sau (dublu) și creșterea fiecărei valori a pixelilor la un exponent, cum ar fi, de exemplu, pătratul valorii fiecărui pixel.

Justificare:

De ce facem asta?

Răspunsul este că majoritatea camerelor își comprimă gama dinamică. Motivul pentru care fac acest lucru este că majoritatea mediilor de afișare extind gama dinamică. Acest lucru este întâmplător: cantitatea de lumină emisă de un ecran de televiziune cu tuburi catodice este aproximativ egală cu tensiunea ridicată la exponentul de 2,22, astfel încât atunci când intrarea de tensiune video este la jumătate, cantitatea de lumină emisă este mult mai putin de jumatate.

Suporturile fotografice sunt, de asemenea, expansive din gama dinamică. De exemplu, o cartelă gri „neutră” fotografică emite 18% din lumina incidentă (nu 50% din lumina incidentă). Această lumină (18%) este considerată a fi în mijlocul răspunsului. Așa cum puteți vedea, dacă ne uităm la un grafic al ieșirii în funcție de intrare, mediile de afișare se comportă ca și cum ar fi afișaje liniare ideale care conțin un expansor de interval dinamic înainte de răspunsul liniar ideal.

În figura de sus, de mai sus, puteți vedea afișajul încorporat cu o linie punctată și este echivalent cu a avea un expansor înainte de afișajul liniar ideal.

Deoarece afișajele sunt inerent expansive, camerele trebuie să fie proiectate pentru a fi compresive, astfel încât imaginile să arate bine pe afișajele existente.

În vremurile vechi, când existau mii de afișaje de receptoare de televiziune și doar una sau două stații de difuzare (de exemplu, una sau două camere de televiziune), a fost o soluție mai ușoară pentru a pune o neliniaritate compresivă în cameră decât pentru a aminti toate televizoarele și pune câte unul în fiecare receptor de televiziune.

Din întâmplare, acest lucru a ajutat și la reducerea zgomotului. În audio, numim acest lucru „Dolby” („companding”) și acordăm un brevet pentru acesta. În videoclip s-a întâmplat total din întâmplare. Stockham ne-a propus să luăm logaritmul imaginilor înainte de a le prelucra, apoi să luăm antilogul. Ceea ce nu și-a dat seama este că majoritatea camerelor și ecranelor fac deja acest lucru întâmplător. În schimb, ceea ce am propus este să facem exact opusul a ceea ce a propus Stockham. (Vezi „Prelucrarea inteligentă a imaginii”, seria John Wiley and Sons Interscience, pagina 109-111.)

În imaginea de jos, vedeți procesarea anti-homomorfă (cuantimetrică) a imaginii, unde am adăugat pasul de expansiune și compresie a gamei dinamice.

Pasul 2: Procesați imaginile sau efectuați viziunea computerizată, învățarea automată sau altele asemănătoare

Al doilea pas, după extinderea intervalului dinamic, este procesarea imaginilor.

În cazul meu, am efectuat pur și simplu o deconvoluție a imaginii, cu funcția de estompare, adică deblurarea imaginii, așa cum se cunoaște în mod obișnuit în stadiul tehnicii.

Există două mari categorii de detectare a imaginii cuantimetrice:

• Ajutarea oamenilor să vadă;
• Mașinile ajutătoare să vadă.

Dacă încercăm să ajutăm oamenii să vadă (care este exemplul pe care îl prezint aici), nu am terminat încă: trebuie să readucem rezultatul procesat în spațiul de imagine.

Dacă ajutăm mașinile să vadă (de exemplu, recunoașterea feței), am terminat acum (nu este nevoie să continuați cu pasul 3).

Pasul 3: Recomprimați gama dinamică a rezultatului

Când lucrăm într-un interval dinamic extins, se spune că suntem în „spațiu luminos” (spațiu cu imagini cuantimetrice).

La sfârșitul pasului 2, suntem în spațiul luminos și trebuie să revenim la spațiul imaginilor.

Deci, acest pas 3 este despre revenirea la spațiul de imagine.

Pentru a efectua pasul 3, pur și simplu comprimați intervalul dinamic al ieșirii din pasul 2.

Dacă cunoașteți funcția de răspuns a camerei, pur și simplu aplicați-o, pentru a obține rezultatul, f (p (q)).

Dacă nu cunoașteți funcția de răspuns a camerei, pur și simplu aplicați o presupunere bună.

Dacă ați pătrat pixelii imaginii la pasul 1, este momentul să luați rădăcina pătrată a fiecărui pixel al imaginii pentru a reveni la presupunerea dvs. cu privire la spațiul de imagine.

Pasul 4: S-ar putea să doriți să încercați alte variante

Dezmolțirea este doar unul dintre multele exemple posibile. Luați în considerare, de exemplu, combinarea expunerilor multiple.

Faceți două fotografii, cum ar fi cele două pe care le am mai sus. Una a fost luată în timpul zilei, iar cealaltă noaptea.

Combinați-le pentru a face o imagine asemănătoare.

Dacă pur și simplu le mediați împreună pare a fi gunoi. Încearcă asta chiar tu!

Dar dacă extindeți mai întâi intervalul dinamic al fiecărei imagini, apoi le adăugați și apoi comprimați intervalul dinamic al sumei, arată excelent.

Comparați procesarea imaginilor (adăugarea imaginilor) cu procesarea imaginilor cuantimetrice (extinderea, adăugarea și apoi comprimarea).

Puteți descărca codul meu și mai multe materiale de exemplu de aici:

Pasul 5: Mergeți mai departe: Încercați acum cu HDR Image Composites

(Imaginea de mai sus: casca de sudură HDR utilizează procesarea cuantimetrică a imaginilor pentru suprapuneri de realitate augmentată. A se vedea Slashgear 2012, 12 septembrie.)

În concluzie:

capturați o imagine și aplicați pașii următori:

1. extindeți gama dinamică a imaginii;
2. procesează imaginea;
3. comprimați intervalul dinamic al rezultatului.

Și dacă doriți un rezultat și mai bun, încercați următoarele:

captează o multitudine de imagini expuse diferit;

1. extindeți gama dinamică în spațiul luminos, conform instrucțiunilor mele anterioare pe HDR;
2. procesează imaginea cuantimetrică rezultată, q, în spațiul luminos;
3. comprimați gama dinamică prin tonemapping.

Distrează-te și dă clic pe „Am reușit” și postează-ți rezultatele și îți voi face plăcere să comentez sau să îți ofer un ajutor constructiv.