3D -rekonstruktion - 3D reconstruction

För 3D -rekonstruktion vid medicinsk bildbehandling , se Iterativ rekonstruktion . För 3D -rekonstruktion av ljudkällor, se 3D -ljudrekonstruktion .
3D -rekonstruktion av den allmänna anatomin i höger sidovy av en liten marin snigel Pseudunela viatoris .

Inom datorsyn och datorgrafik är 3D -rekonstruktion processen för att fånga formen och utseendet på verkliga objekt. Denna process kan utföras antingen med aktiva eller passiva metoder. Om modellen tillåts ändra sin form i tid, kallas detta icke-styv eller spatio-temporal rekonstruktion.

Motivation och applikationer

Forskningen om 3D -rekonstruktion har alltid varit ett svårt mål. Med hjälp av 3D -rekonstruktion kan man bestämma vilket objekts 3D -profil som helst, samt känna till 3D -koordinaten för vilken punkt som helst i profilen. 3D -rekonstruktion av objekt är ett allmänt vetenskapligt problem och kärnteknik inom en mängd olika områden, till exempel Computer Aided Geometric Design ( CAGD ), datorgrafik , datoranimering , datorsyn , medicinsk bildbehandling , beräkningsvetenskap , virtual reality , digitala medier etc. Till exempel kan patientens lesionsinformation presenteras i 3D på datorn, vilket ger en ny och exakt metod för diagnos och därmed har ett viktigt kliniskt värde. Digitala höjdmodeller kan rekonstrueras med metoder som luftburen laser altimetri eller syntetisk bländarradar .

Aktiva metoder

3D ekoljudande karta över en undervattenskanjon

Aktiva metoder, dvs intervalldatametoder, med tanke på djupkartan , rekonstruerar 3D -profilen genom numerisk approximation och bygger objektet i scenario baserat på modell. Dessa metoder stör aktivt det rekonstruerade objektet, antingen mekaniskt eller radiometriskt med avståndsmätare , för att få djupkartan, t.ex. strukturerat ljus , laseravståndssökare och andra aktiva avkänningstekniker. Ett enkelt exempel på en mekanisk metod skulle använda en djupmätare för att mäta ett avstånd till ett roterande föremål på en skivspelare. Mer tillämpliga radiometriska metoder avger strålning mot objektet och mäter sedan dess reflekterade del. Exempel sträcker sig från rörliga ljuskällor, färgat synligt ljus, time-of-flight- lasrar till mikrovågor eller 3D-ultraljud . Se 3D -skanning för mer information.

Passiva metoder

Passiva metoder för 3D -rekonstruktion stör inte det rekonstruerade objektet; de använder bara en sensor för att mäta den strålning som reflekteras eller avges från objektets yta för att utläsa dess 3D -struktur genom bildförståelse . Normalt är sensorn en bildsensor i en kamera som är känslig för synligt ljus och ingången till metoden är en uppsättning digitala bilder (en, två eller flera) eller video. I det här fallet pratar vi om bildbaserad rekonstruktion och utmatningen är en 3D-modell . I jämförelse med aktiva metoder kan passiva metoder tillämpas på ett större antal situationer.

Monokulära ledtrådsmetoder

Monokulära cues -metoder hänvisar till att använda en eller flera bilder från en synvinkel (kamera) för att gå vidare till 3D -konstruktion. Det använder sig av 2D-egenskaper (t.ex. silhuetter, skuggning och textur) för att mäta 3D-form, och det är därför det också heter Shape-From-X, där X kan vara silhuetter , skuggning , textur etc. 3D-rekonstruktion genom monokulära signaler är enkelt och snabbt, och endast en lämplig digital bild behövs, så endast en kamera är tillräcklig. Tekniskt sett undviker den stereokorrespondens , vilket är ganska komplext.

Generera och rekonstruera 3D-former från djupkartor eller silhuetter med en eller flera visningar

Form-från-skuggning På grund av analysen av skugginformationen i bilden, genom att använda lambertisk reflektans , återställs djupet av normal information för objektytan för att rekonstruera.

Fotometrisk stereo Detta tillvägagångssätt är mer sofistikerat än metoden för skuggning. Bilder som tas under olika ljusförhållanden används för att lösa djupinformationen. Det är värt att nämna att mer än en bild krävs av detta tillvägagångssätt.

Form-från-textur Antag att ett sådant föremål med slät yta täckt av replikerade texturenheter, och dess projektion från 3D till 2D orsakar förvrängning och perspektiv . Förvrängning och perspektiv mätt i 2D -bilder ger tips för att omvänt lösa djupet av normal information om objektytan.

Stereosyn

Huvudartikel: Datorstereosyn

Stereosyn erhåller den tredimensionella geometriska informationen om ett objekt från flera bilder baserat på forskning av mänskligt visuellt system . Resultaten presenteras i form av djupkartor. Bilder av ett objekt som förvärvats av två kameror samtidigt i olika betraktningsvinklar , eller av en enda kamera vid olika tidpunkter i olika betraktningsvinklar, används för att återställa dess 3D -geometriska information och rekonstruera dess 3D -profil och plats. Detta är mer direkt än monokulära metoder som form-från-skuggning.

Binokulär stereosynmetod kräver två identiska kameror med parallell optisk axel för att observera samma objekt och få två bilder från olika synvinklar. När det gäller trigonometri -relationer kan djupinformation beräknas från skillnader. Binokulär stereosynmetod är väl utvecklad och bidrar stabilt till gynnsam 3D -rekonstruktion, vilket leder till bättre prestanda jämfört med annan 3D -konstruktion. Tyvärr är det beräkningskrävande, dessutom presterar det ganska dåligt när baslinjeavståndet är stort.

Problemmeddelande och grunder

Tillvägagångssättet för att använda Kikare stereoseende att förvärva objektets 3D geometrisk information på grundval av visuella skillnader . Följande bild ger ett enkelt schematiskt diagram över horisontellt siktad kikarstereo, där b är baslinjen mellan projektiva centra för två kameror.

Geometri av ett stereoskopiskt system

Ursprunget för kamerans koordinatsystem är i den optiska mitten av kamerans lins som visas i figuren. Egentligen är kamerans bildplan bakom den optiska mitten av kamerans lins. För att förenkla beräkningen ritas dock bilder framför linsens optiska centrum med f. U-axeln och v-axeln för bildens koordinatsystem är i samma riktning med x-axeln respektive y-axeln för kamerans koordinatsystem. Bildens koordinatsystems ursprung ligger vid skärningspunkten mellan avbildningsplanet och den optiska axeln. Antag sådan värld punkt vars motsvarande bildpunkter är och respektive till vänster och höger bildplanet. Inta två kameror är i samma plan, då y-koordinater för och är identiska, dvs . Enligt trigonometri -relationer,

där är koordinaterna för i den vänstra kamerans koordinatsystem, är brännvidd på kameran. Visuell skillnad definieras som skillnaden i bildpunktens plats för en viss världspunkt som förvärvats av två kameror,

baserat på vilken koordinaterna för kan beräknas.

Därför, när koordinaterna för bildpunkter är kända, förutom parametrarna för två kameror, kan 3D -koordinaten för punkten bestämmas.

3D -rekonstruktionen består av följande avsnitt:

Bildförvärv

2D digital bildinsamling är informationskällan för 3D -rekonstruktion. Vanligt använt 3D -rekonstruktion är baserat på två eller flera bilder, även om det i vissa fall endast kan använda en bild. Det finns olika typer av metoder för bildförvärv som beror på tillfällen och syften med den specifika applikationen. Inte bara kraven i applikationen måste vara uppfyllda, utan även den visuella skillnaden, belysningen, kamerans prestanda och scenariot ska övervägas.

Kamerakalibrering

Huvudartikel: Geometrisk kamerakalibrering

Kamerakalibrering i Binocular Stereo Vision avser bestämning av kartläggningsförhållandet mellan bildpunkterna och , och rymdkoordinat i 3D -scenariot. Kamerakalibrering är en grundläggande och viktig del i 3D -rekonstruktion via Binocular Stereo Vision.

Särdragsextraktion

Huvudartikel: Utdrag av funktioner

Syftet med funktionsextraktion är att få egenskaperna hos bilderna, genom vilka stereokorrespondensen bearbetas. Som ett resultat länkar egenskaperna hos bilderna nära till valet av matchningsmetoder. Det finns ingen sådan universellt tillämplig teori för extraktion av funktioner, vilket leder till en stor mångfald av stereokorrespondens inom Binocular Stereo Vision -forskning.

Stereokorrespondens

Huvudartikel: Bildregistrering

Stereokorrespondens är att upprätta överensstämmelse mellan primitiva faktorer i bilder, dvs att matcha och från två bilder. Vissa störningsfaktorer i scenariot bör uppmärksammas, t.ex. belysning, buller, ytfysiska egenskaper etc.

Restaurering

Enligt exakt korrespondens, i kombination med kamerans platsparametrar, kan 3D -geometrisk information återställas utan svårigheter. På grund av det faktum att noggrannheten i 3D -rekonstruktion beror på korrespondensens precision, fel i kameraplaceringsparametrar och så vidare, måste de tidigare procedurerna göras noggrant för att uppnå relativt exakt 3D -rekonstruktion.

3D -rekonstruktion av medicinska bilder

Klinisk diagnosrutin, patientuppföljning, datorstödd kirurgi, kirurgisk planering etc. underlättas av exakta 3D-modeller av den önskade delen av mänsklig anatomi. Huvudmotivationen bakom 3D -rekonstruktion inkluderar

  • Förbättrad noggrannhet tack vare aggregering med flera visningar.
  • Detaljerade ytuppskattningar.
  • Kan användas för att planera, simulera, vägleda eller på annat sätt hjälpa en kirurg att utföra ett medicinskt ingrepp.
  • Den exakta positionen och orienteringen av patientens anatomi kan bestämmas.
  • Hjälper inom ett antal kliniska områden, såsom planläggning och verifiering av strålbehandling, ryggradskirurgi, höftbyte, neurointerventioner och aortastent.

Ansökningar:

3D -rekonstruktion har tillämpningar inom många områden. Dom är:

Problemmeddelande:

Oftast är algoritmer tillgängliga för 3D-rekonstruktion extremt långsamma och kan inte användas i realtid. Även om de presenterade algoritmerna fortfarande är i barndomen men de har potential för snabb beräkning.

Befintliga tillvägagångssätt:

Delaunay triangulering (25 poäng)

Delaunay och alfa-former

  • Delaunay -metoden innebär extraktion av tetraederytor från det initiala punktmolnet. Idén om "form" för en uppsättning punkter i rymden ges av begreppet alfa-former. Med tanke på en ändlig punktuppsättning S och den verkliga parametern alfa, är alfa-formen av S en polytop (generaliseringen till vilken dimension som helst av en tvådimensionell polygon och en tredimensionell polyhedron) som varken är konvex eller nödvändigtvis ansluten. För ett stort värde är alfa-formen identisk med S. konvexa skrov. Algoritmen som föreslås av Edelsbrunner och Mucke eliminerar alla tetraeder som avgränsas av en omgivande sfär som är mindre än α. Ytan erhålls sedan med de yttre trianglarna från den resulterande tetraedern.
  • En annan algoritm som heter Tight Cocone märker de initiala tetraederna som interiör och exteriör. Trianglarna som hittas in och ut genererar den resulterande ytan.

Båda metoderna har nyligen utökats för att rekonstruera punktmoln med buller. I denna metod avgör kvaliteten på poäng metodens genomförbarhet. För exakt triangulering eftersom vi använder hela punktmolnuppsättningen kommer punkterna på ytan med felet över tröskeln att uttryckligen representeras på rekonstruerad geometri.

Marschande kuber

Nollställningsmetoder

Rekonstruktion av ytan utförs med användning av en avståndsfunktion som tilldelar till varje punkt i utrymmet en undertecknad avståndet till ytan S . En konturalgoritm används för att extrahera en nolluppsättning som används för att erhålla polygonal representation av objektet. Således reduceras problemet med att rekonstruera en yta från ett oorganiserat punktmoln till definitionen av den lämpliga funktionen f med ett nollvärde för de samplade punkterna och olika till nollvärdet för resten. En algoritm som kallas marscherande kuber fastställde användningen av sådana metoder. Det finns olika varianter för given algoritm, vissa använder en diskret funktion f , medan andra använder en polyharmonisk radiell basfunktion används för att justera den initiala punktuppsättningen. Funktioner som Moving Least Squares, grundläggande funktioner med lokalt stöd, baserat på Poisson -ekvationen har också använts. Förlust av geometriprecision i områden med extrem krökning, dvs hörn, kanter är en av de viktigaste frågorna. Vidare påverkar förbehandling av information, genom att tillämpa någon form av filtreringsteknik, även definitionen av hörnen genom att mjukna dem. Det finns flera studier relaterade till efterbehandlingstekniker som används vid rekonstruktionen för detektering och förfining av hörn, men dessa metoder ökar komplexiteten i lösningen.

Solid geometri med volymåtergivning Bild med tillstånd av Patrick Chris Fragile Ph.D., UC Santa Barbara

VR -teknik

Hela volymtransparensen för objektet visualiseras med VR -teknik. Bilder kommer att utföras genom att projicera strålar genom volymdata. Längs varje stråle måste opacitet och färg beräknas vid varje voxel. Då kommer information beräknad längs varje stråle att aggregeras till en pixel på bildplanet. Denna teknik hjälper oss att se omfattande en hel kompakt struktur av objektet. Eftersom tekniken kräver enorma mängder beräkningar, vilket kräver starka konfigurationsdatorer är lämpligt för data med låg kontrast. Två huvudmetoder för strålprojektion kan betraktas enligt följande:

  • Objektordningsmetod: Projekterande strålar går genom volym bakifrån och fram (från volym till bildplan).
  • Bildordning eller strålgjutningsmetod: Projicerar strålar går genom volym framifrån och bak (från bildplan till volym). Det finns några andra metoder för sammansatt bild, lämpliga metoder beroende på användarens syften. Några vanliga metoder inom medicinsk bild är MIP (projicering av maximal intensitet), MinIP (projektion med minimal intensitet), AC ( alfa-kompositering ) och NPVR (icke-fotorealistisk volymåtergivning ).
Spåra en stråle genom ett voxel -rutnät. De voxlar som passeras utöver de som väljs med en standard 8-ansluten algoritm visas kläckta.

Voxel Grid

I denna filtreringsteknik samplas inmatningsutrymme med hjälp av ett rutnät med 3D -voxlar för att minska antalet poäng. För varje voxel väljs en centroid som representant för alla punkter. Det finns två tillvägagångssätt, valet av voxel centroid eller välj centroid av punkterna som ligger inom voxel. För att få interna poäng har genomsnittet en högre beräkningskostnad, men ger bättre resultat. Således erhålls en delmängd av inmatningsutrymmet som ungefär representerar den underliggande ytan. Voxel Grid -metoden ger samma problem som andra filtreringstekniker: omöjlighet att definiera det slutliga antalet punkter som representerar ytan, geometrisk informationsförlust på grund av minskningen av punkterna inuti en voxel och känslighet för bullriga inmatningsutrymmen.

Se även

Referenser

externa länkar

externa länkar