Polynomregression - Polynomial regression

I statistik är polynomregression en form av regressionsanalys där förhållandet mellan den oberoende variabeln x och den beroende variabeln y modelleras som en n- graders polynom i x . Polynomregression passar ett icke-linjärt förhållande mellan värdet på x och motsvarande villkorligt medelvärde av y , betecknad E ( y  | x ). Även om polynomregression passar en icke-linjär modell för data, är det som ett statistiskt uppskattningsproblem linjärt, i den meningen att regressionsfunktionen E ( y  |  x ) är linjär i de okända parametrarna som uppskattas från data . Av denna anledning anses polynomregression vara ett speciellt fall av multipel linjär regression .

De förklarande (oberoende) variablerna som härrör från den polynomiska expansionen av "baslinjevariablerna" är kända som högre gradstermer. Sådana variabler används också i klassificeringsinställningar .

Historia

Modeller för polynomregression passar vanligtvis med metoden för minsta kvadrat . Metoden med minsta kvadrater minimerar variansen hos de opartiska uppskattningarna av koefficienterna, under villkoren för Gauss – Markov-satsen . Metoden med minst kvadrat publicerades 1805 av Legendre och 1809 av Gauss . Den första designen av ett experiment för polynomregression uppträdde i en artikel från Gergonne från 1815 . Under 1900-talet spelade polynomregression en viktig roll i utvecklingen av regressionsanalys , med större tonvikt på frågor om design och inferens . Mer nyligen har användningen av polynommodeller kompletterats med andra metoder, där icke-polynommodeller har fördelar för vissa klasser av problem.

Definition och exempel

En kubisk polynomregression passar till en simulerad datamängd. Det förtroende bandet är en 95% samtidig förtroende bandet konstrueras med användning av Scheffé tillvägagångssätt.

Målet med regressionsanalys är att modellera det förväntade värdet på en beroende variabel y i termer av värdet på en oberoende variabel (eller vektor av oberoende variabler) x . I enkel linjär regression, modellen

${\ displaystyle y = \ beta _ {0} + \ beta _ {1} x + \ varepsilon, \,}$

används, där ε är ett obemärkt slumpmässigt fel med medelvärde noll som är villkorat av en skalär variabel x . I denna modell ökar den villkorliga förväntningen på y för varje enhetsökning av värdet på x med β ₁ enheter.

I många inställningar kanske en sådan linjär relation inte håller. Om vi ​​till exempel modellerar utbytet av en kemisk syntes i termer av den temperatur vid vilken syntesen äger rum kan vi upptäcka att utbytet förbättras genom att öka mängderna för varje enhets temperaturökning. I det här fallet kan vi föreslå en kvadratisk modell av formuläret

${\ displaystyle y = \ beta _ {0} + \ beta _ {1} x + \ beta _ {2} x ^ {2} + \ varepsilon. \,}$

I denna modell, när temperaturen ökas från x till x  + 1 enheter, ändras det förväntade avkastningen med (Detta kan ses genom att ersätta x i denna ekvation med x +1 och subtrahera ekvationen i x från ekvationen i x +1 .) För oändliga minimala förändringar i x ges effekten på y av det totala derivatet i förhållande till x : Det faktum att förändringen i utbyte beror på x är det som gör förhållandet mellan x och y olinjärt även om modellen är linjär i parametrarna som ska uppskattas. ${\ displaystyle \ beta _ {1} + \ beta _ {2} (2x + 1).}$${\ displaystyle \ beta _ {1} +2 \ beta _ {2} x.}$

I allmänhet kan vi modellera det förväntade värdet av y som en n- graders polynom, vilket ger den allmänna polynomregressionsmodellen

${\ displaystyle y = \ beta _ {0} + \ beta _ {1} x + \ beta _ {2} x ^ {2} + \ beta _ {3} x ^ {3} + \ cdots + \ beta _ { n} x ^ {n} + \ varepsilon. \,}$

Bekvämt är att alla dessa modeller är linjära ur uppskattningssynpunkt , eftersom regressionsfunktionen är linjär när det gäller okända parametrar β ₀ , β ₁ , .... Därför, för minsta kvadratanalys , beräknings- och polynomregression kan hanteras fullständigt med hjälp av teknikerna för multipel regression . Detta görs genom att behandla x ,  x ² , ... som distinkta oberoende variabler i en multipel regressionsmodell.

Matrisform och beräkning av uppskattningar

Den polynomiska regressionsmodellen

${\ displaystyle y_ {i} \, = \, \ beta _ {0} + \ beta _ {1} x_ {i} + \ beta _ {2} x_ {i} ^ {2} + \ cdots + \ beta _ {m} x_ {i} ^ {m} + \ varepsilon _ {i} \ (i = 1,2, \ punkter, n)}$

kan uttryckas i matrisform i termer av en designmatris , en svarsvektor , en parametervektor och en vektor av slumpmässiga fel. Den i- raden av och innehåller x- och y- värdet för i- dataprov. Sedan kan modellen skrivas som ett system av linjära ekvationer: ${\ displaystyle \ mathbf {X}}$${\ displaystyle {\ vec {y}}}$${\ displaystyle {\ vec {\ beta}}}$${\ displaystyle {\ vec {\ varepsilon}}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle {\ vec {y}}}$

${\ displaystyle {\ begin {bmatrix} y_ {1} \\ y_ {2} \\ y_ {3} \\\ vdots \\ y_ {n} \ end {bmatrix}} = {\ begin {bmatrix} 1 & x_ { 1} & x_ {1} ^ {2} & \ dots & x_ {1} ^ {m} \\ 1 & x_ {2} & x_ {2} ^ {2} & \ dots & x_ {2} ^ {m} \\ 1 & x_ { 3} & x_ {3} ^ {2} & \ dots & x_ {3} ^ {m} \\\ vdots & \ vdots & \ vdots & \ ddots & \ vdots \\ 1 & x_ {n} & x_ {n} ^ {2 } & \ dots & x_ {n} ^ {m} \ end {bmatrix}} {\ begin {bmatrix} \ beta _ {0} \\\ beta _ {1} \\\ beta _ {2} \\\ vdots \\\ beta _ {m} \ end {bmatrix}} + {\ begin {bmatrix} \ varepsilon _ {1} \\\ varepsilon _ {2} \\\ varepsilon _ {3} \\\ vdots \\\ varepsilon _ {n} \ end {bmatrix}},}$

som när du använder ren matrisnotation skrivs som

${\ displaystyle {\ vec {y}} = \ mathbf {X} {\ vec {\ beta}} + {\ vec {\ varepsilon}}. \,}$

Vektorn för uppskattade polynomregressionskoefficienter (med vanlig uppskattning av minsta kvadrat ) är

${\ displaystyle {\ widehat {\ vec {\ beta}}} = (\ mathbf {X} ^ {\ mathsf {T}} \ mathbf {X}) ^ {- 1} \; \ mathbf {X} ^ { \ mathsf {T}} {\ vec {y}}, \,}$

antar m < n som krävs för att matrisen ska vara inverterbar; sedan eftersom det är en Vandermonde-matris garanteras inverterbarhetsvillkoret om alla värden är distinkta. Detta är den unika lösningen med minsta kvadrat. ${\ displaystyle \ mathbf {X}}$${\ displaystyle x_ {i}}$

Tolkning

Även om polynomregression tekniskt sett är ett speciellt fall av multipel linjär regression kräver tolkningen av en anpassad polynomregressionsmodell ett något annat perspektiv. Det är ofta svårt att tolka de enskilda koefficienterna i en polynomregressionspassning, eftersom de underliggande monomierna kan vara starkt korrelerade. Exempelvis har x och x ² korrelation runt 0,97 när x fördelas enhetligt på intervallet (0, 1). Även om korrelationen kan minskas med hjälp av ortogonala polynom är det generellt mer informativt att betrakta den anpassade regressionsfunktionen som en helhet. Punktvisa eller samtidiga konfidensband kan sedan användas för att ge en känsla av osäkerheten i uppskattningen av regressionsfunktionen.

Alternativa metoder

Polynomregression är ett exempel på regressionsanalys med basfunktioner för att modellera ett funktionellt förhållande mellan två kvantiteter. Mer specifikt, ersätter den i linjär regression med polynom basis , t ex . En nackdel med polynombaser är att basfunktionerna är "icke-lokala", vilket betyder att det monterade värdet på y vid ett givet värde x  =  x ₀ beror starkt på datavärden med x långt ifrån x ₀ . I modern statistik används polynombasfunktioner tillsammans med nya basfunktioner , såsom splines , radialbasfunktioner och wavelets . Dessa familjer med basfunktioner erbjuder en mer parsimonious passform för många typer av data. ${\ displaystyle x \ in \ mathbb {R} ^ {d_ {x}}}$${\ displaystyle \ varphi (x) \ in \ mathbb {R} ^ {d _ {\ varphi}}}$${\ displaystyle [1, x] {\ mathbin {\ stackrel {\ varphi} {\ rightarrow}}} [1, x, x ^ {2}, \ ldots, x ^ {d}]}$

Målet med polynomregression är att modellera ett icke-linjärt förhållande mellan de oberoende och beroende variablerna (tekniskt sett, mellan den oberoende variabeln och det villkorliga medelvärdet för den beroende variabeln). Detta liknar målet för icke-parametrisk regression , som syftar till att fånga icke-linjära regressionsförhållanden. Därför kan icke-parametriska regressionsmetoder som utjämning vara användbara alternativ till polynomregression. Några av dessa metoder använder en lokaliserad form av klassisk polynomregression. En fördel med traditionell polynomregression är att det inferentiella ramverket för multipel regression kan användas (detta gäller även när man använder andra familjer med basfunktioner som splines).

Ett sista alternativ är att använda kärnmodeller som stöder vektorregression med en polynomkärna .

Om rester har ojämn varians kan en vägd uppskattning av minsta kvadrat användas för att redovisa det.

Se även

• Kurvanpassning
• Linjeregression
• Lokal polynomregression
• Polynom- och rationell funktionsmodellering
• Polynominterpolation
• Metod för responsytan
• Utjämnande spline

Anteckningar

• Microsoft Excel använder polynomregression när man anpassar en trendlinje till datapunkter på ett XY-spridningsdiagram.

Referenser

externa länkar

• Curve Fitting , PhET Interactive simulations, University of Colorado i Boulder