Tonmappning - Tone mapping

Denna artikel handlar om teknik för att kartlägga färger på högdynamiska bilder . För en allmän teknik för att kartlägga färger mellan bilder, se Färgmappning .
Tonkartad högdynamisk (HDR) bild av St. Kentigerns romersk-katolska kyrka i Blackpool, Lancashire, England, Storbritannien

Tonmappning är en teknik som används vid bildbehandling och datorgrafik för att kartlägga en uppsättning färger till en annan för att approximera utseendet på högdynamiska bilder i ett medium som har ett mer begränsat dynamiskt omfång . Utskrifter , CRT- eller LCD- skärmar och projektorer har alla ett begränsat dynamiskt omfång som är otillräckligt för att återge hela ljusintensiteten i naturliga scener. Tonmappning tar upp problemet med stark kontrastreduktion från scenens utstrålning till det visningsbara området samtidigt som bilddetaljer och färgutseende bevaras för att uppskatta det ursprungliga sceninnehållet.

Bakgrund

Införandet av filmbaserad fotografering skapade problem sedan det var mycket svårt att fånga det enorma dynamiska belysningsområdet från den verkliga världen på ett kemiskt begränsat negativt. Tidiga filmutvecklare försökte åtgärda detta problem genom att designa filmlagren och tryckutvecklingssystemen som gav en önskad S-formad tonkurva med något förbättrad kontrast (cirka 15%) i mellanområdet och gradvis komprimerade höjdpunkter och skuggor. Tillkomsten av zonsystemet , som baserar exponeringen på de önskade skuggtonerna tillsammans med att variera den tid som spenderas i den kemiska utvecklaren (därmed kontrollerar höjdtoner) utökade tonområdet för svartvitt (och senare färg) negativ film från dess ursprungliga intervall på cirka sju stopp till cirka tio. Fotografer har också använt dodging och bränning för att övervinna begränsningarna i utskriftsprocessen.

Tillkomsten av digital fotografering gav hopp om bättre lösningar på detta problem. En av de tidigaste algoritmerna som användes av Land och McCann 1971 var Retinex, inspirerad av teorier om ljusuppfattning. Denna metod är inspirerad av ögats biologiska anpassningsmekanismer när ljusförhållanden är ett problem. Gamutmappningsalgoritmer studerades också ingående i samband med färgutskrift. Beräkningsmodeller som CIECAM02 eller iCAM användes för att förutsäga färgutseende. Trots detta, om algoritmer inte kunde kartlägga toner och färger i tillräcklig utsträckning, behövdes fortfarande en skicklig konstnär, vilket är fallet med efterbehandling av filmfilmer.

Datorgrafiska tekniker som kan återge scener med hög kontrast flyttade fokus från färg till luminans som den främsta begränsande faktorn för displayenheter. Flera tonmappningsoperatörer utvecklades för att kartlägga bilder med hög dynamisk räckvidd (HDR) till standardskärmar. På senare tid har detta arbete förgrenat sig från att använda luminans för att förlänga bildkontrast och mot andra metoder som användarassisterad bildåtergivning. För närvarande har bildåtergivningen förskjutits mot bildskärmsdrivna lösningar sedan skärmar nu har avancerade bildbehandlingsalgoritmer som hjälper till att anpassa återgivningen av bilden till visningsförhållanden, spara ström, uppskalad färgomfång och dynamiskt omfång.

Syfte och metoder

Målen för tonmappning kan anges olika beroende på den specifika applikationen. I vissa fall är det bara målet att producera estetiskt tilltalande bilder, medan andra applikationer kan betona att återge så många bilddetaljer som möjligt eller maximera bildkontrasten. Målet i realistiska återgivningsapplikationer kan vara att få en perceptuell matchning mellan en verklig scen och en visad bild trots att displayenheten inte kan återge hela spektrumet av luminansvärden.

Olika tonkartläggningsoperatörer har utvecklats under de senaste åren. Alla kan delas in i två huvudtyper:

  • globala (eller rumsligt enhetliga ) operatörer: de är olinjära funktioner baserade på bildens luminans och andra globala variabler. När den optimala funktionen har uppskattats enligt den specifika bilden, mappas varje pixel i bilden på samma sätt, oberoende av värdet av omgivande pixlar i bilden. Dessa tekniker är enkla och snabba (eftersom de kan implementeras med hjälp av uppslagstabeller ), men de kan orsaka kontrastförlust. Exempel på vanliga globala tonkartläggningsmetoder är kontrastreducering och färginversion .
  • lokala (eller rumsligt varierande ) operatörer: parametrarna för den icke-linjära funktionen ändras i varje pixel, enligt funktioner extraherade från de omgivande parametrarna. Med andra ord ändras effekten av algoritmen i varje pixel enligt bildens lokala särdrag. Dessa algoritmer är mer komplicerade än de globala; de kan visa artefakter (t.ex. haloeffekt och ringning); och utgången kan se orealistisk ut, men de kan (om de används korrekt) ge bästa prestanda, eftersom människosyn är främst känslig för lokal kontrast.

Ett enkelt exempel på globalt tonmappningsfilter är (Reinhard), där V in är luminansen för den ursprungliga pixeln och V out är luminansen för den filtrerade pixeln. Denna funktion kommer att kart luminansen V i i domänen till ett visningsutgångs intervall av Medan detta filter ger en ganska bra kontrast för delar av bilden med låg luminans (särskilt när V i <1 ), delar av bilden med högre luminans kommer att få allt lägre kontrast när luminansen för den filtrerade bilden går till 1. Variationer på detta filter används vanligtvis vid återgivning.

En kanske mer användbar global tonkartläggningsmetod är gammakomprimering , som har filtret där A > 0 och 0 < γ <1 . Denna funktion kommer att mappa luminansen V i i domänen till utgångsområdet γ reglerar bildens kontrast; ett lägre värde för lägre kontrast. Medan en lägre konstant γ ger en lägre kontrast och kanske också en tråkigare bild, ökar det exponeringen av underexponerade delar av bilden samtidigt som det, om A <1 , kan minska exponeringen av överexponerade delar av bilden tillräckligt för att förhindra att de överexponeras.

En ännu mer sofistikerad grupp av tonmappningsalgoritmer är baserade på kontrast- eller gradientdomänmetoder , som är "lokala". Sådana operatörer koncentrerar sig på att bevara kontrast mellan angränsande regioner snarare än absolut värde, ett tillvägagångssätt motiverat av det faktum att den mänskliga uppfattningen är mest känslig för kontrast i bilder snarare än absoluta intensiteter. Dessa tonkartläggningsmetoder ger vanligtvis mycket skarpa bilder som bevarar mycket små kontrastdetaljer; Detta görs dock ofta på bekostnad av att platta till en övergripande bildkontrast och kan som en bieffekt ge halo -liknande glöd runt mörka föremål. Exempel på sådana tonkartläggningsmetoder inkluderar: gradientdomän med högt dynamiskt omfång och A Perceptual Framework för kontrastbehandling av bilder med högt dynamiskt omfång (en tonmappning är en av tillämpningarna i detta ramverk).

En annan metod för tonkartläggning av HDR -bilder är inspirerad av förankringsteorin om ljusuppfattning . Denna teori förklarar många egenskaper hos det mänskliga visuella systemet, till exempel lätthetskonstans och dess misslyckanden (som i schackerskuggans illusion ), som är viktiga för uppfattningen av bilder. Nyckelbegreppet för denna tonmappningsmetod (Lightness Perception in Tone Reproduction) är en sönderdelning av en HDR -bild i områden (ramar) med konsekvent belysning och den lokala beräkningen av ljushetsvärdena. En bilds nettoljushet beräknas genom sammanslagning av ramarna proportionellt mot deras styrka. Särskilt viktigt är förankringen - relaterad av luminansen till en känd luminans, nämligen att uppskatta vilket luminansvärde som uppfattas som vitt i scenen. Detta tillvägagångssätt för tonmappning påverkar inte den lokala kontrasten och bevarar de naturliga färgerna i en HDR -bild på grund av den linjära hanteringen av luminans.

En enkel form av tonmappning tar en standardbild (inte HDR - det dynamiska området som redan är komprimerat) och tillämpar oskarp maskering med en stor radie, vilket ökar lokal kontrast snarare än skärper. Se oskarp maskering: lokal kontrastförbättring för mer information.

En av de vanligaste tonmappning algoritmer är iCAM06 som bygger på både färg utseende modell och hierarkiska kartläggning. Efter bilateral filtrering bryts bilden in i ett grundlager och ett detaljskikt. Vitpunktsanpassning och krominansanpassning appliceras på basskiktet, medan detaljförbättring tillämpas på detaljskiktet. Så småningom slås de två lagren samman och konverteras till IPT -färgutrymmet. I allmänhet är denna metod bra men har vissa brister, särskilt i hur beräkningstung filtreringsmetoden är. En föreslagen lösning på detta innebär prestandaoptimering av filtret. Bildens baslager konverteras också till RGB -utrymmet för tonkomprimering. Denna metod möjliggör också mer utgångsjustering och förbättring av mättnad, vilket gör den mindre beräknande intensiv och bättre på att minska den totala haloeffekten.

Digital fotografering

Tonmappad HDR -bild av Dundas Square ; Tonkartläggning gjordes som efterbehandlingsteknik med Photomatix fotografisk programvara.

Former för tonkartläggning går långt före digital fotografering. Manipulationen av film och utvecklingsprocess för att återge scener med hög kontrast, särskilt de som fotograferas i starkt solljus, på tryckpapper med ett relativt lågt dynamiskt omfång, är faktiskt en form av tonmappning, även om det vanligtvis inte kallas det. Lokal justering av tonalitet i filmbehandling sker i första hand via dodging och bränning , och förespråkas särskilt av och associeras med Ansel Adams , som beskrivs i hans bok The Print; se även hans zonsystem .

Den normala processen för exponeringskompensation , ljusare skuggor och förändring av kontrast som tillämpas globalt på digitala bilder som en del av ett professionellt eller seriöst amatörarbetsflöde är också en form av tonmappning.

HDR-tonmappning, vanligtvis med hjälp av lokala operatörer, har dock blivit allt populärare bland digitala fotografer som en efterbehandlingsteknik, där flera exponeringar med olika slutartider kombineras för att producera en HDR-bild och en tonmappningsoperatör sedan appliceras på resultatet . Det finns nu många exempel på lokalt tonkartade digitala bilder, felaktigt kända som "HDR -fotografier", på internet, och dessa är av varierande kvalitet. Denna popularitet drivs dels av det distinkta utseendet på lokalt tonade mappade bilder, som många tycker är attraktiva, dels av en önskan att fånga scener med hög kontrast som är svåra eller omöjliga att fotografera i en enda exponering, och som kanske inte blir attraktivt ens när de kan fångas. Även om digitala sensorer faktiskt fångar ett högre dynamiskt omfång än film, förlorar de helt detaljer i extrema höjdpunkter och klipper dem till rent vitt, vilket ger ett oattraktivt resultat jämfört med negativ film, vilket tenderar att behålla färg och vissa detaljer i höjdpunkter.

I vissa fall används lokal tonkartläggning även om källbildens dynamiska omfång skulle kunna fångas upp på målmediet, antingen för att framställa det distinkta utseendet på en lokalt tonkartad bild, eller för att producera en bild närmare fotografens konstnärliga vision av scenen genom att ta bort skarpa kontraster, som ofta ser oattraktiva ut. I vissa fall produceras tonmappade bilder från en enda exponering som sedan manipuleras med konventionella bearbetningsverktyg för att producera ingångarna till HDR -bildgenereringsprocessen. Detta undviker de artefakter som kan visas när olika exponeringar kombineras på grund av rörliga föremål i scenen eller kameraskakningar. När tonmappning tillämpas på en enda exponering på detta sätt har mellanbilden dock bara ett normalt dynamiskt område, och mängden skugg- eller markeringsdetaljer som kan återges är bara den som fångades i den ursprungliga exponeringen.

Displayenheter

Ett av de ursprungliga målen med tonkartläggning var att kunna återge en given scen eller bild på en displayenhet så att bildens ljusstyrka för en mänsklig betraktare nära matchar den verkliga ljuskänslan. En perfekt matchning för detta problem är emellertid aldrig möjlig och därför bildas utmatningsbilden på en display ofta från en avvägning mellan olika bildfunktioner. Att välja mellan funktioner är ofta baserat på den nödvändiga applikationen och med lämpliga mätvärden för applikationen är en möjlig lösning att behandla problemet som ett optimeringsproblem.

För denna metod genereras först modeller för Human Visual System (HVS) och displayen, tillsammans med en enkel tonmappningsoperatör. Kontrastförvrängningarna viktas enligt deras individuella synlighet som approximeras av HVS. Med dessa modeller kan en objektiv funktion som definierar tonkurvan skapas och lösas med en snabb kvadratisk lösare.

Med tillägg av filter kan denna metod också utökas till videor. Filtren säkerställer att den snabba ändringen av tonkurvan mellan bildrutor inte är framträdande i den slutliga utdatabilden.

Exempel på bildprocessen

Tone mappade High Dynamic Range bild exempel som visar glasmålningar i södra alkov i Old Saint Paul , Wellington , Nya Zeeland .
De sex individuella exponeringarna som används för att skapa den tidigare bilden. I bilderna med låg exponering är rummet mörkt och oklart, men detaljerna i fönstren är synliga. I bilderna med hög exponering är fönstren ljusa och oklara, men detaljerna i rummet avslöjas.

Bilderna till höger visar inredningen i en kyrka, en scen som har en variation i utstrålning som är mycket större än den som kan visas på en bildskärm eller spelas in med en vanlig kamera. De sex individuella exponeringarna från kameran visar scenens utstrålning inom ett visst område som förvandlas till det ljusstyrka som kan visas på en bildskärm. Utbudet av strålningar som spelas in på varje foto är begränsat, så alla detaljer kan inte visas samtidigt: till exempel kan detaljer om den mörka kyrkans interiör inte visas samtidigt som de i det ljusa glasmålningsfönstret. En algoritm tillämpas på de sex bilderna för att återskapa den höga dynamiska områdets strålningskarta för den ursprungliga scenen (en bild med högt dynamiskt område ). Alternativt kan vissa avancerade konsument- och specialistvetenskapliga digitalkameror spela in en högdynamisk bild direkt, till exempel med RAW- bilder.

I idealfallet kan en kamera mäta luminansen direkt och lagra detta i HDR -bilden; Men de flesta högdynamiska bilder som produceras av kameror idag är inte kalibrerade eller till och med proportionella mot luminans, på grund av praktiska skäl som kostnad och tid som krävs för att mäta exakta luminansvärden - det är ofta tillräckligt för artister att använda flera exponeringar för att få en " HDR -bild "som grovt approximerar den sanna luminanssignalen.

Bilden med högt dynamiskt område överförs till en tonmappningsoperatör, i detta fall en lokal operatör, som omvandlar bilden till en bild med lågt dynamiskt område som är lämplig för visning på en bildskärm. I förhållande till kyrkans interiör visas fönstret med glasmålningar med en mycket lägre ljusstyrka än en linjär kartläggning mellan scenens utstrålning och pixelintensitet skulle ge. Denna felaktighet är emellertid perceptuellt mindre viktig än bilddetaljen, som nu kan visas i både fönstret och kyrkans interiör samtidigt.

Lokal tonkartläggningsteknik för HDR-bildbehandling ger ofta ett antal karakteristiska effekter i bilder som ljusa glorier runt mörka föremål, mörka glorier runt ljusa objekt och ibland ett "tecknat-liknande" utseende på grund av extremt levande färger och brist på stora skala färgvariationer. Dessa resultat orsakas av applicering av geometrisk rymdförvrängning av den tagna bilden tillsammans med färgrymdförvrängning, medan endast färgrymdförvrängningar är en tonmappningseffekt, och alla andra snedvridningar är snarare en anpassad filtreringsteknik än någon ton- eller färgrymdkartläggning. Så, resultaten av lokal tonkartläggning bedöms ofta som perversa karaktären av en dokumentalistisk fotografisk bild och långt ifrån fotografisk realism.

Inte alla tonmappade bilder är visuellt distinkta. Att minska dynamiskt omfång med tonkartläggning är ofta användbart i ljusa solbelysta scener, där skillnaden i intensitet mellan direkt belysning och skugga är stor. I dessa fall minskar den globala kontrasten i scenen, men den lokala kontrasten bibehålls, medan bilden som helhet fortsätter att se naturlig ut. Användning av tonmappning i detta sammanhang kanske inte framgår av den slutliga bilden:

  • Regioner med direkt belysning och skugga på Grand Canyon

  • Hink med nyplockade körsbär.jpg

  • Tecknat-liknande utseende

Tonkartläggning kan också ge distinkta visuella effekter i den slutliga bilden, till exempel den synliga glorian runt tornet i Cornell Law School -bilden nedan. Den kan användas för att producera dessa effekter även när originalbildens dynamiska område inte är särskilt högt. Halos i bilder uppstår på grund av att den lokala tonmappningsoperatören kommer att lysa upp områden runt mörka föremål för att behålla den lokala kontrasten i originalbilden, vilket lurar det mänskliga visuella systemet för att uppfatta de mörka föremålen som mörka, även om deras faktiska luminans är samma som för områden i bilden som uppfattas som ljusa. Vanligtvis är denna effekt subtil, men om kontrasterna i originalbilden är extrema, eller om fotografen medvetet ställer in luminansgradienten till mycket brant, blir gloriorna synliga.

Galleri

Se även

Referenser

  1. ^ Livingstone, M. 2002. "Vision och konst: The Biology of Seeing." Harry N Abrams
  2. ^ Hunt, R. 2004. "Reproduktion av färg i fotografi, tryckning och tv: 6: e upplagan." John Wiley & Sons.
  3. ^ Adams, A. 1981. "Trycket, Ansel Adams Photography Series 3." New York Graphic Society
  4. ^ Land, EH och McCann, JJ 1971. "Lightness and the retinex theory." Journal of the Optical Society of America 61, 1, 1–11.
  5. ^ Kate Devlin, Alan Chalmers, Alexander Wilkie, Werner Purgathofer. "STAR -rapport om tonåtergivning och fysiskt baserad spektralåtergivning" iEurographics2002.DOI:10.1145/1073204.1073242
  6. ^ Raanan Fattal, Dani Lischinski, Michael Werman. "Gradientdomän med hög dynamisk omfångskomprimering"
  7. ^ Rafal Mantiuk, Karol Myszkowski, Hans-Peter Seidel. "En perceptuell ram för kontrastbehandling av högdynamiska bilder"
  8. ^ Alan Gilchrist. "Anchoring Theory of Lightness Perception".
  9. ^ Grzegorz Krawczyk, Karol Myszkowski, Hans-Peter Seidel. "Ljusuppfattning i tonåtergivning för högdynamiska bilder"
  10. ^ Fairchild, MD, Johnson, GM: 'iCAM -ramverket för bildutseende, skillnader och kvalitet'. J Elektron. Imaging, 2004
  11. ^ Xiao, J., Li, W., Liu, G., Shaw, S., & Zhang, Y. (nd). Hierarkisk tonmappning baserad på bildfärgsmodell. [12]
  12. ^ Mantiuk, R., Daly, S., & Kerofsky, L. (nd). Display Adaptive Tone Mapping. http://resources.mpi-inf.mpg.de/hdr/datmo/mantiuk08datm.pdf
  13. ^ https://web.archive.org/web/20150206044300/http://docs.opencv.org/trunk/doc/tutorials/photo/hdr_imaging/hdr_imaging.html
  14. ^ Durand ochJulie Dorsey, "Snabb bilateral filtrering för visning av högdynamiska bilder". ACM Transactions on Graphics, 2002, 21, 3, 257 - 266.https://people.csail.mit.edu/fredo/PUBLI/Siggraph2002/DurandBilateral.pdf
  1. ^ G. Qiu et al, "Tone Mapping for HDR Image using Optimization-A New Closed Form Solution" , Proc. ICPR 2006, 18th International Conference on Pattern Recognition, vol. 1, s. 996-999
  2. ^ Reinhard, Erik (2002). "Fotografisk tonåtergivning för digitala bilder" (PDF) . ACM -transaktioner på grafik . 21 (3): 267–276. doi : 10.1145/566654.566575 .
  3. ^ Taylor, Matt. "Tonmappning" . Hämtad 8 augusti 2021 .

externa länkar

Tonmappningsalgoritmer