Bayer filter - Bayer filter

Bayer-arrangemanget av färgfilter på bildsensorns pixeluppsättning
Profil / tvärsnitt av sensorn

En Bayer-filtermosaik är en färgfilteruppsättning (CFA) för att ordna RGB- färgfilter på ett fyrkantigt rutnät med fotosensorer. Dess speciella arrangemang av färgfilter används i de flesta digitala bildsensorer med en chip som används i digitalkameror, videokameror och skannrar för att skapa en färgbild. Filtermönstret är halvgrönt , en fjärdedel rött och en fjärdedel blått, därför kallas det också BGGR, RGBG , GRBG eller RGGB .

Det är uppkallat efter dess uppfinnare, Bryce Bayer från Eastman Kodak . Bayer är också känd för sin rekursivt definierade matris som används i ordnad dithering .

Alternativ till Bayer-filtret inkluderar både olika modifieringar av färger och arrangemang och helt olika teknologier, såsom samprovtagning av färgplatser , Foveon X3-sensorn , dikroiska speglar eller en transparent diffraktiv-filteruppsättning.

Förklaring

  1. Original scen
  2. Utgång från en 120 × 80-pixel sensor med ett Bayer-filter
  3. Output färgkodad med Bayer-filterfärger
  4. Rekonstruerad bild efter interpolering av saknad färginformation
  5. Full RGB-version med 120 × 80 pixlar för jämförelse (t.ex. som en filmskanning, Foveon eller pixel shift- bild kan visas)

Bryce Bayers patent (US patent nr 3 971 065) 1976 kallade de gröna fotosensorerna luminanskänsliga element och de röda och blå krominanskänsliga elementen . Han använde dubbelt så många gröna element som rött eller blått för att efterlikna det mänskliga ögats fysiologi . Luminansuppfattningen av den mänskliga näthinnan använder M- och L- konceller kombinerade under dagsljus, som är mest känsliga för grönt ljus. Dessa element hänvisas till som sensorelement , sensels , pixelsensorer , eller helt enkelt pixlar ; provvärden som avkänns av dem, efter interpolering, blir bildpixlar . När Bayer registrerade sitt patent föreslog han också att använda en cyan-magenta-gul kombination, det är en annan uppsättning motsatta färger. Detta arrangemang var opraktiskt då eftersom de nödvändiga färgämnena inte fanns, utan används i vissa nya digitalkameror. Den stora fördelen med de nya CMY-färgämnena är att de har en förbättrad ljusabsorptionsegenskap. det vill säga deras kvanteffektivitet är högre.

Den råa produktionen från Bayer-filterkameror kallas en Bayer-mönsterbild . Eftersom varje pixel är filtrerad för att bara spela in en av tre färger kan inte data från varje pixel helt specificera var och en av de röda, gröna och blå värdena. För att få en fullfärgsbild kan olika demosaiseringsalgoritmer användas för att interpolera en uppsättning kompletta röda, gröna och blå värden för varje pixel. Dessa algoritmer använder de omgivande pixlarna i motsvarande färger för att uppskatta värdena för en viss pixel.

Olika algoritmer som kräver olika mängder datorkraft resulterar i slutliga bilder av varierande kvalitet. Detta kan göras i kameran, producera en JPEG- eller TIFF- bild eller utanför kameran med rådata direkt från sensorn. Eftersom processorkraften hos kameraprocessorn är begränsad föredrar många fotografer att göra dessa åtgärder manuellt på en persondator. Ju billigare kameran desto färre möjligheter att påverka dessa funktioner. I professionella kameror saknas bildkorrigeringsfunktioner helt eller så kan de stängas av. Inspelning i Raw-format ger möjlighet att manuellt välja demosaiseringsalgoritm och kontrollera transformationsparametrarna, som inte bara används i konsumentfotografering utan också för att lösa olika tekniska och fotometriska problem.

Demosering

Demosering kan utföras på olika sätt. Enkla metoder interpolerar färgvärdet på pixlarna med samma färg i området. När chipet till exempel har exponerats för en bild kan varje pixel läsas. En pixel med ett grönt filter ger en exakt mätning av den gröna komponenten. De röda och blå komponenterna för denna pixel erhålls från grannarna. För en grön pixel kan två röda grannar interpoleras för att ge det röda värdet, även två blå pixlar kan interpoleras för att ge det blå värdet.

Detta enkla tillvägagångssätt fungerar bra i områden med konstanta färger eller jämna lutningar, men det kan orsaka artefakter som färgblödning i områden där det finns plötsliga förändringar i färg eller ljusstyrka, särskilt märkbara längs skarpa kanter i bilden. På grund av detta försöker andra demosaiseringsmetoder att identifiera kanter med hög kontrast och bara interpolera längs dessa kanter, men inte tvärs över dem.

Andra algoritmer baseras på antagandet att färgen på ett område i bilden är relativt konstant även under förändrade ljusförhållanden, så att färgkanalerna är starkt korrelerade med varandra. Därför interpoleras den gröna kanalen först sedan den röda och därefter den blå kanalen, så att färgförhållandet röd-grönt respektive blå-grönt är konstanta. Det finns andra metoder som gör olika antaganden om bildinnehållet och med utgångspunkt från detta försök att beräkna de färgvärden som saknas.

Artefakter

Bilder med liten skala nära upplösningsgränsen för den digitala sensorn kan vara ett problem för demosaiseringsalgoritmen, vilket ger ett resultat som inte ser ut som modellen. Den vanligaste artefakten är Moiré , som kan se ut som upprepande mönster, färgartefakter eller pixlar ordnade i ett orealistiskt labyrintliknande mönster.

Falsk färg artefakt

En vanlig och olycklig artefakt av Color Filter Array (CFA) interpolering eller demosaisering är vad som är känt och ses som falsk färgning. Vanligtvis manifesterar sig denna artefakt längs kanterna, där abrupta eller onaturliga färgförskjutningar uppstår som ett resultat av felinterpolering över, snarare än längs en kant. Det finns olika metoder för att förhindra och ta bort denna falska färgning. Smidig nyansövergångsinterpolering används under demosaiseringen för att förhindra att falska färger manifesterar sig i den slutliga bilden. Det finns dock andra algoritmer som kan ta bort falska färger efter demosaisering. Dessa har fördelen att ta bort falska färgartefakter från bilden medan de använder en mer robust demosaiseringsalgoritm för interpolering av de röda och blå färgplanen.

Tre bilder som visar artefakten med falsk färg demosaicing.

Zippering artefakt

Zippering artefakten är en annan bieffekt av CFA demosaicing, som också förekommer främst längs kanter, är känd som blixtlåseffekten. Enkelt uttryckt är blixtlås ett annat namn för kantsuddighet som förekommer i ett av / på-mönster längs en kant. Denna effekt inträffar när demosaiseringsalgoritmen genomsnittar pixelvärden över en kant, särskilt i de röda och blåa planen, vilket resulterar i dess karakteristiska suddighet. Som nämnts tidigare är de bästa metoderna för att förhindra denna effekt de olika algoritmerna som interpolerar längs, snarare än över bildkanterna. Interpolering av mönsterigenkänning, adaptiv färgplaninterpolation och riktad viktad interpolation försöker alla förhindra blixtlås genom att interpolera längs kanter som detekteras i bilden.

Tre bilder som visar den zippande artefakten av CFA-demosering

Men även med en teoretiskt perfekt sensor som kan fånga och urskilja alla färger på varje fotosite kan Moiré och andra artefakter fortfarande visas. Detta är en oundviklig följd av något system som samplar en annars kontinuerlig signal med diskreta intervall eller platser. Av denna anledning innehåller de flesta fotografiska digitala sensorer något som kallas ett optiskt lågpassfilter (OLPF) eller ett anti-aliasing (AA) filter . Detta är vanligtvis ett tunt lager direkt framför sensorn och fungerar genom att effektivt suddiga ut potentiellt problematiska detaljer som är finare än sensorns upplösning.

Ändringar

Tre nya Kodak RGBW-filtermönster

Bayer-filtret är nästan universellt på digitalkameror för konsumenter. Alternativ inkluderar CYGM-filtret ( cyan , gult , grönt, magenta ) och RGBE-filtret (rött, grönt, blått, smaragd ), som kräver liknande demosaisering. Den Foveon X3 sensor (vilka skikt röd, grön och blå sensorer vertikalt snarare än att använda en mosaik) och arrangemang av tre separata CCD: er (en för varje färg) inte behöver demosaicing.

"Panchromatiska" celler

Den 14 juni 2007 tillkännagav Eastman Kodak ett alternativ till Bayer-filtret: ett färgfiltermönster som ökar ljuskänsligheten för bildsensorn i en digitalkamera genom att använda några "panchromatiska" celler som är känsliga för alla synliga våglängder. ljus och samla in en större mängd ljus som träffar sensorn. De presenterar flera mönster, men inga med en upprepande enhet så liten som Bayer-mönsterets 2 × 2-enhet.

Tidigare RGBW-filtermönster

En annan amerikansk patentansökan från 2007, av Edward T. Chang, hävdar en sensor där "färgfiltret har ett mönster som består av 2 × 2 pixelblock som består av en röd, en blå, en grön och en transparent pixel" i en konfiguration avsedd för att inkludera infraröd känslighet för högre total känslighet. Kodaks patentansökan var tidigare.

Sådana celler har tidigare använts i " CMYW " (cyan, magenta, gul och vit) "RGBW" (röda, gröna, blåa, vita) sensorer, men Kodak har inte jämfört det nya filtermönstret med dem ännu.

Fujifilm "EXR" färgfilter array

EXR-sensor

Fujifilms EXR-färgfiltermatris tillverkas i både CCD ( SuperCCD ) och CMOS (BSI CMOS). Som med SuperCCD roteras själva filtret 45 grader. Till skillnad från konventionella Bayer-filterdesigner finns det alltid två intilliggande fotosidor som upptäcker samma färg. Den främsta anledningen till denna typ av matris är att bidra till pixel "binning", där två intilliggande fotosidor kan slås ihop, vilket gör sensorn själv mer "känslig" för ljus. En annan anledning är att sensorn spelar in två olika exponeringar, som sedan slås samman för att producera en bild med större dynamiskt omfång. Den underliggande kretsen har två utläsningskanaler som tar sin information från alternativa rader i sensorn. Resultatet är att det kan fungera som två interfolierade sensorer, med olika exponeringstider för varje hälft av fotosidorna. Hälften av fotosidorna kan medvetet underexponeras så att de helt fångar upp ljusare områden på scenen. Denna bibehållna höjdordsinformation kan sedan blandas in med utsignalen från den andra hälften av sensorn som spelar in en "full" exponering, och återigen utnyttjar det nära avståndet mellan liknande färgade fotosidor.

Fujifilm "X-Trans" filter

Det upprepande 6 × 6-rutnätet som används i x-trans-sensorn

Fujifilm X-Trans CMOS-sensorn som används i många Fujifilm X- seriekameror påstås ge bättre motståndskraft mot färgmoer än Bayer-filtret, och som sådan kan de tillverkas utan ett aliasfilter. Detta gör i sin tur att kameror som använder sensorn uppnår en högre upplösning med samma megapixelantal. Dessutom hävdas att den nya designen minskar förekomsten av falska färger genom att ha röda, blå och gröna pixlar i varje rad. Arrangemanget av dessa pixlar sägs också ge korn mer som film.

En av de viktigaste nackdelarna är att stöd för anpassade mönster kan sakna fullt stöd i tredje part bearbetning program som Adobe Photoshop Lightroom där lägga förbättringar tog flera år.

Quad Bayer

Sony introducerade Quad Bayer färgfilter array, som först presenterades i Huawei P20 Pro släppt den 27 mars 2018. Quad Bayer liknar Bayer filter, men intilliggande 2x2 pixlar har samma färg, 4x4 mönstret har 4x blått, 4x rött, och 8x grön. För mörkare scener kan signalbehandling kombinera data från varje 2x2-grupp, i huvudsak som en större pixel. För ljusare scener kan signalbehandling omvandla Quad Bayer till ett konventionellt Bayer-filter för att uppnå högre upplösning. Pixlarna i Quad Bayer kan användas i långtidsintegration och korttidsintegration för att uppnå enstaka HDR, vilket minskar blandningsproblem. Quad Bayer är också känt som Tetracell av Samsung och 4-cell av OmniVision .

Den 26 mars 2019 tillkännagavs Huawei P30-serien med RYYB Quad Bayer, med 4x4-mönstret med 4x blått, 4x rött och 8x gult.

Nonacell

Den 12 februari 2020 tillkännagavs Samsung Galaxy S20 Ultra med Nonacell CFA. Nonacell CFA liknar Bayer-filter, men intilliggande 3x3 pixlar har samma färg, 6x6-mönstret har 9x blått, 9x rött och 18x grönt.

Se även

Referenser

Första sidan av Bryce Bayers 1976-patent på Bayer-mönsterfiltermosaiken, som visar hans terminologi av luminans-känsliga och krominans-känsliga element

Anteckningar

externa länkar