5.6 Distribuição a posteriori
A posteriori de hoje é a priori de amanhã. (Máxima bayesiana)
A (distribuição a) posteriori \(\pi(\theta|x)\) pode ser dada por
\[\begin{equation} \pi(\theta|x) = \frac{\pi(\theta) L(\theta|x)}{\pi(x)} \tag{5.5} \end{equation}\]
onde \(\pi(\theta)\) é a (distribuição a) priori de \(\theta\), \(L(\theta|x)\) é a (função de) verossimilhança conforme Eq. (5.1) e a (distribuição) preditiva de \(x\) é \[\begin{equation} \pi(x) = \int_{\theta} \pi(\theta) L(\theta|x) d\theta \tag{5.6} \end{equation}\]
5.6.1 Conjugação
Definição 5.5 Se a posteriori possui a mesma forma paramétrica da priori, chama-se esta priori de distribuição conjugada para a verossimilhança.
Exemplo 5.8 Seja uma moeda com probabilidade \(\theta\) de face cara. A sequência de variáveis aleatórias \(X_1, \ldots, X_n\) tem distribuição Bernoulli com probabilidade \(\theta\) de sucesso, anotada por \(X|\theta \sim Ber(\theta)\). Conforme Eq. (5.2), a (função de) verossimilhança é dada por
\[\begin{align*} L(\theta|x) \propto \theta^{s} (1-\theta)^{f}, \end{align*}\]
onde \(s = \sum_{i=1}^n x_i\) e \(f = n-s\) indicam respectivamente o total de sucessos e fracassos observados.
Por conveniência da conjugação, a priori de \(\theta\) é admitida como uma Beta de hiperparâmetros \(\alpha\) e \(\beta\), anotada por \(\theta|\alpha,\beta \sim Beta(\alpha,\beta)\) ou simplificadamente \(\theta \sim Beta(\alpha,\beta)\) conforme Seção 3.9.7. A priori é dada por
\[\begin{align*} \pi(\theta) = \dfrac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)} \theta^{\alpha-1} (1-\theta)^{\beta-1} \end{align*}\]
Se desconsiderarmos a constante, pode-se escrever a priori proporcional ao núcleo da função, i.e., a parte que envolve \(\theta\).
\[\begin{align*} \pi(\theta) \propto \theta^{\alpha-1} (1-\theta)^{\beta-1} \end{align*}\]
A conveniência em escolher uma verossimilhança Binomial para \(X|\theta\) e uma priori Beta para \(\theta\) reside no fato de estas distribuições serem conjugadas. Ao realizar a operação bayesiana obtém-se uma posteriori Beta com os parâmetros da priori atualizados pelo número total de caras (sucessos) observadas e de coroas (fracassos) na amostra, anotada por \(\theta|X \sim Beta(\alpha+s,\beta+f)\). A posteriori é dada por
\[\begin{align*} \pi(\theta|x) &\propto \pi(\theta) L(\theta|x) \\ &\propto \theta^{s} (1-\theta)^{f} \cdot \theta^{\alpha-1} (1-\theta)^{\beta-1} \\ &\propto \theta^{(\alpha+s)-1} (1-\theta)^{(\beta+f)-1} \\ &= \frac{\Gamma(\alpha+s+\beta+f)}{\Gamma(\alpha+s) \Gamma(\beta+f)} \theta^{(\alpha+s)-1} (1-\theta)^{(\beta+f)-1} \end{align*}\]
Exemplo 5.9 Sejam \(n=12\) lançamentos com 9 sucessos (caras) e 3 fracassos (coroas). Se for considerada uma priori imprópria \(Beta(0,0)\) para \(\theta\), pela conjugação a posteriori é \(\theta|x \sim Beta(0+9,0+3)\).
library(LearnBayes)
prior <- c(0,0) # priori beta(0, 0) para \theta
data <- c(9,3) # 9 sucessos e 3 fracassos
triplot(prior,data)
## [1] 0.8A priori de Jeffreys é uma \(Beta(1/2,1/2)\), assim \(\theta|x \sim Beta(1/2+9,1/2+3)\).
library(LearnBayes)
prior <- c(1/2,1/2) # priori de Jeffreys beta(1/2, 1/2) (arco-seno) para \theta
data <- c(1/2+9,1/2+3) # 9 sucessos e 3 fracassos
triplot(prior,data)
## [1] 0.7727273