Bayesian experimentell design - Bayesian experimental design

Bayesian experimentell design ger en allmän sannolikhetsteoretisk ram från vilken andra teorier om experimentell design kan härledas. Det är baserat på Bayesian slutsats att tolka observationer / data som förvärvats under experimentet. Detta gör det möjligt att redovisa både förkunskaper om parametrarna och osäkerheter i observationer.

Teorin om Bayesiansk experimentell design bygger till viss del på teorin för att fatta optimala beslut under osäkerhet . Målet när man utformar ett experiment är att maximera den förväntade nyttan av experimentets resultat. Verktyget definieras oftast i termer av ett mått på noggrannheten i den information som tillhandahålls av experimentet (t.ex. Shannon-informationen eller negativa av variansen ), men kan också involvera faktorer som den ekonomiska kostnaden för att utföra experimentet. Vilken som är den optimala experimentdesignen beror på det specifika användarkriterium som valts.

Relationer till mer specialiserad optimal designteori

Linjär teori

Om modellen är linjär är den tidigare sannolikhetsdensitetsfunktionen (PDF) homogen och observationsfel normalt fördelade , förenklas teorin till den klassiska optimala experimentella designteorin .

Ungefärlig normalitet

I många publikationer om Bayesian experimentell design antas det (ofta implicit) att alla bakre PDF-filer är ungefärliga. Detta gör det möjligt att beräkna det förväntade verktyget med hjälp av linjär teori, medelvärde över utrymmet för modellparametrar, en metod som granskats i Chaloner & Verdinelli (1995) . Försiktighet måste dock tas vid tillämpning av denna metod, eftersom ungefärlig normalitet för alla möjliga posterior är svår att verifiera, även i fall av normala observationsfel och enhetlig tidigare PDF.

Bakre fördelning

Nyligen möjliggör ökade beräkningsresurser slutsatser om den bakre fördelningen av modellparametrar, som direkt kan användas för experimentdesign. Vanlier et al. (2012) föreslog ett tillvägagångssätt som använder den bakre prediktiva fördelningen för att bedöma effekten av nya mätningar på förutsägelsosäkerhet, medan Liepe et al. (2013) föreslår att man maximerar den ömsesidiga informationen mellan parametrar, förutsägelser och potentiella nya experiment.

Matematisk formulering

Notation ${\ displaystyle \ theta \,}$ parametrar som ska bestämmas ${\ displaystyle y \,}$ observation eller data ${\ displaystyle \ xi \,}$ design ${\ displaystyle p (y \ mid \ theta, \ xi) \,}$ PDF för att göra observation , givna parametervärden och design${\ displaystyle y}$${\ displaystyle \ theta}$${\ displaystyle \ xi}$ ${\ displaystyle p (\ theta) \,}$ tidigare PDF ${\ displaystyle p (y \ mid \ xi) \,}$ marginal PDF i observationsutrymme ${\ displaystyle p (\ theta \ mid y, \ xi) \,}$    bakre PDF ${\ displaystyle U (\ xi) \,}$    nyttan av designen ${\ displaystyle \ xi}$ ${\ displaystyle U (y, \ xi) \,}$    nyttan av experimentets resultat efter observation med design${\ displaystyle y}$${\ displaystyle \ xi}$

Med en vektor av parametrar att bestämma, en tidigare PDF över dessa parametrar och en PDF för att göra observation , givna parametervärden och en experimentdesign , kan den bakre PDF-filen beräknas med Bayes sats${\ displaystyle \ theta}$ ${\ displaystyle p (\ theta)}$${\ displaystyle p (y \ mid \ theta, \ xi)}$${\ displaystyle y}$${\ displaystyle \ theta}$${\ displaystyle \ xi}$

${\ displaystyle p (\ theta \ mid y, \ xi) = {\ frac {p (y \ mid \ theta, \ xi) p (\ theta)} {p (y \ mid \ xi)}} \ ,, }$

var är den marginella sannolikhetstätheten i observationsutrymmet ${\ displaystyle p (y \ mid \ xi)}$

${\ displaystyle p (y \ mid \ xi) = \ int p (\ theta) p (y \ mid \ theta, \ xi) \, d \ theta \ ,.}$

Den förväntade nyttan av ett experiment med design kan sedan definieras ${\ displaystyle \ xi}$

${\ displaystyle U (\ xi) = \ int p (y \ mid \ xi) U (y, \ xi) \, dy,}$

var är någon verkligt värderad funktion av den bakre PDF-filen efter att ha gjort observation med hjälp av en experimentdesign . ${\ displaystyle U (y, \ xi)}$ ${\ displaystyle p (\ theta \ mid y, \ xi)}$${\ displaystyle y}$${\ displaystyle \ xi}$

Få in Shannon-information som verktyg

Utility kan definieras som den tidigare bakre vinsten i Shannon-information

${\ displaystyle U (y, \ xi) = \ int \ log (p (\ theta \ mid y, \ xi)) \, p (\ theta | y, \ xi) \, d \ theta - \ int \ log (p (\ theta)) \, p (\ theta) \, d \ theta \ ,.}$

En annan möjlighet är att definiera verktyget som

${\ displaystyle U (y, \ xi) = D_ {KL} (p (\ theta \ mid y, \ xi) \ | p (\ theta)) \ ,,}$

den Kullback-Leibler divergens enligt den kända från den bakre distribution. Lindley (1956) noterade att det förväntade verktyget då kommer att vara koordinatoberoende och kan skrivas i två former

${\ displaystyle {\ begin {alignat} {2} U (\ xi) & = \ int \ int \ log (p (\ theta \ mid y, \ xi)) \, p (\ theta, y \ mid \ xi ) \, d \ theta \, dy- \ int \ log (p (\ theta)) \, p (\ theta) \, d \ theta \\ & = \ int \ int \ log (p (y \ mid \ theta, \ xi)) \, p (\ theta, y \ mid \ xi) \, dy \, d \ theta - \ int \ log (p (y \ mid \ xi)) \, p (y \ mid \ xi) \, dy, \ end {alignat}} \,}$

varav den senare kan utvärderas utan att man behöver utvärdera enskilda bakre PDF-filer för alla möjliga observationer . Det är värt att notera att den första termen på den andra ekvationslinjen inte beror på designen , så länge observationsosäkerheten inte gör det. Å andra sidan är integralen av i den första formen konstant för alla , så om målet är att välja design med högsta nytta behöver termen inte beräknas alls. Flera författare har övervägt numeriska tekniker för att utvärdera och optimera detta kriterium, t.ex. van den Berg, Curtis & Trampert (2003) och Ryan (2003) . Anteckna det ${\ displaystyle p (\ theta \ mid y, \ xi)}$${\ displaystyle y}$${\ displaystyle \ xi}$${\ displaystyle p (\ theta) \ log p (\ theta)}$${\ displaystyle \ xi}$

${\ displaystyle U (\ xi) = I (\ theta; y) \ ,,}$

den förväntade informationsvinsten är exakt den ömsesidiga informationen mellan parametern θ och observationen y . Ett exempel på Bayesian design för linjär dynamisk modelldiskriminering ges i Bania (2019) . Eftersom det var svårt att beräkna har dess nedre gräns använts som en verktygsfunktion. Den nedre gränsen maximeras sedan under signalens energibegränsning. Föreslagen Bayesian-design har också jämförts med klassisk genomsnittlig D-optimal design. Det visades att den Bayesianska designen är överlägsen D-optimal design. ${\ displaystyle I (\ theta; y) \ ,,}$

Den Kelly kriteriet beskriver också en sådan nyttofunktion för en spelare som vill maximera vinsten, som används i spel och informationsteori ; Kellys situation är identisk med det föregående, med sidinformation eller "privat tråd" som tar platsen för experimentet.

Se även

• Bayesian optimering
• Optimal design
• Aktivt lärande

Referenser

• Vanlier; Tiemann; Hilbers; van Riel (2012), "A Bayesian approach to target experiment design", Bioinformatics , 28 (8): 1136–1142, doi : 10.1093 / bioinformatics / bts092 , PMC  3324513 , PMID  22368245

• Liepe; Filippi; Komorowski; Stumpf (2013), "Maximizing the Information Content of Experiments in Systems Biology", PLOS Computational Biology , 9 (1): e1002888, Bibcode : 2013PLSCB ... 9E2888L , doi : 10.1371 / journal.pcbi.1002888 , PMC  3561087 , PMID  23382663

• van den Berg; Curtis; Trampert (2003), "Optimal icke-linjär Bayesian experimentell design: en applikation för amplitud kontra offset-experiment", Geophysical Journal International , 155 (2): 411–421, Bibcode : 2003GeoJI.155..411V , doi : 10.1046 / j.1365 -246x.2003.02048.x

• Chaloner, Kathryn; Verdinelli, Isabella (1995), "Bayesian experimental design: a review" (PDF) , Statistical Science , 10 (3): 273–304, doi : 10.1214 / ss / 1177009939

• DasGupta, A. (1996), "Review of optimal Bayes designs" (PDF) , i Ghosh, S .; Rao, CR (red.), Design och analys av experiment , Statistikhandbok, 13 , Nordholland, s. 1099–1148, ISBN 978-0-444-82061-7

• Lindley, DV (1956), "On a measure of information given by an experiment", Annals of Mathematical Statistics , 27 (4): 986–1005, doi : 10.1214 / aoms / 1177728069

• Ryan, KJ (2003), "Estimating Expected Information Gains for Experimental Designs With Application to the Random Fatigue-Limit Model", Journal of Computational and Graphical Statistics , 12 (3): 585–603, doi : 10.1198 / 1061860032012 , S2CID  119889630
• Bania, P. (2019), "Bayesian Input Design for Linear Dynamical Model Discrimination", Entropy , 21 (4): 351, Bibcode : 2019Entrp..21..351B , doi : 10.3390 / e21040351 , PMC  7514835 , PMID  33267065