📚 Teorema Bayes — Derivasi dan Kenapa Sering Salah Dipakai

Kategori: Probability · Level: Intermediate–Advanced · Sesi: 05:00 Deep Learning

🎯 Tujuan Belajar

Setelah sesi ini: 1. Bisa menurunkan teorema Bayes dari definisi probabilitas kondisional tanpa menghafal rumus. 2. Paham P(B) sebagai marginal likelihood — bukan sekadar "pembagi ajaib". 3. Membedakan P(H|E) vs P(E|H) secara intuitif dan bisa menjelaskan kenapa tertukar fatal. 4. Kenali varian: odds form (Likelihood Ratio) dan kenapa lebih stabil secara numerik. 5. Tahu kapan Bayes dipakai dengan benar vs kapan disalahgunakan (base rate fallacy, prior tak terverifikasi).

🧠 Penjelasan Inti

Apa itu?

Teorema Bayes adalah cara meng-update keyakinan saat ada bukti baru. Secara formal:

$$P(H \mid E) = \frac{P(E \mid H) \, P(H)}{P(E)}$$

• $H$ = hipotesis
• $E$ = evidence (bukti/data yang diamati)
• $P(H)$ = prior — keyakinan sebelum lihat bukti
• $P(E \mid H)$ = likelihood — seberapa mungkin bukti muncul jika H benar
• $P(H \mid E)$ = posterior — keyakinan setelah lihat bukti
• $P(E)$ = evidence / marginal likelihood — total probabilitas bukti muncul

Kenapa ada? Masalah apa yang diselesaikan?

Masalah fundamental: kita sering tahu $P(E \mid H)$ (data given hypothesis) tapi butuh $P(H \mid E)$ (hypothesis given data).

Contoh nyata: Tes medis punya sensitivitas 99% — artinya $P(\text{positif} \mid \text{sakit}) = 0.99$. Tapi pertanyaan yang benar-benar penting adalah: kalau hasil tes positif, berapa peluang saya benar-benar sakit? Itu $P(\text{sakit} \mid \text{positif})$ — dan jawabannya sering jauh dari 99%.

Tanpa Bayes, orang menganggap kedua arah ini identik. Itu akar dari banyak misinformasi.

⚙️ Cara Kerjanya — Derivasi

Langkah 1: Definisi probabilitas kondisional

$$P(H \mid E) = \frac{P(H \cap E)}{P(E)}, \quad P(E) > 0$$

$$P(E \mid H) = \frac{P(H \cap E)}{P(H)}, \quad P(H) > 0$$

Langkah 2: Isolasi irisan (joint probability)

Dari persamaan kedua:

$$P(H \cap E) = P(E \mid H) \, P(H)$$

Langkah 3: Substitusi balik

$$P(H \mid E) = \frac{P(E \mid H) \, P(H)}{P(E)}$$

Itu dia. Nol sihir. Bayes cuma dua definisi definisi kondisional yang digabung.

Langkah 4: Ekspansi penyebut (law of total probability)

$P(E)$ tidak selalu diberikan langsung. Kita hitung lewat partisi hipotesis:

$$P(E) = P(E \mid H) P(H) + P(E \mid \neg H) P(\neg H)$$

Ini untuk kasus biner. Untuk $n$ hipotesis mutually exclusive & exhaustive:

$$P(E) = \sum_{i} P(E \mid H_i) \, P(H_i)$$

🔑 Insight kunci: $P(E)$ itu normalizer

$P(E)$ bukan parameter yang kita "tebak". Fungsinya cuma men-skala ulang hasil supaya posterior-nya jadi distribusi probabilitas yang valid (jumlah = 1).

Konsekuensi penting:

$$P(H \mid E) \propto \underbrace{P(E \mid H)}{\text{likelihood}} \cdot \underbrace{P(H)}$$}

posterior ∝ likelihood × prior

Kalau cuma mau tahu hipotesis mana lebih unggul (bukan nilai absolutnya), penyebut boleh diabaikan. Inilah alasan banyak algoritma (Naive Bayes, MCMC) cuma kerja di ruang proporsional.

Varian: Odds Form (Likelihood Ratio)

Alternatif yang sering lebih berguna. Untuk dua hipotesis bersaing $H_1$ vs $H_2$:

$$\underbrace{\frac{P(H_1 \mid E)}{P(H_2 \mid E)}}{\text{posterior odds}} = \underbrace{\frac{P(H_1)}{P(H_2)}}$$}} \times \underbrace{\frac{P(E \mid H_1)}{P(E \mid H_2)}}_{\text{likelihood ratio}

$P(E)$ hilang sepenuhnya — jadi tidak perlu dihitung. Ini yang bikin odds form secara numerik lebih robust, dan secara konseptual lebih jernih: seberapa kuat bukti menggeser keyakinan cuma ditentukan likelihood ratio.

💡 Contoh / Analogi

Contoh medis kanonik (base rate yang brutal)

Penyakit menyerang 1 dari 1000 orang. Tes: sensitivitas 99%, false positive rate 5%.

Pertanyaan: hasil positif — berapa peluang sungguh sakit?

• $P(\text{sakit}) = 0.001$ (prior)
• $P(\text{sehat}) = 0.999$
• $P(+ \mid \text{sakit}) = 0.99$
• $P(+ \mid \text{sehat}) = 0.05$

Penyebut:

$$P(+) = (0.99)(0.001) + (0.05)(0.999) = 0.00099 + 0.04995 = 0.05094$$

Posterior:

$$P(\text{sakit} \mid +) = \frac{0.00099}{0.05094} \approx 0.0194$$

~1.9%. Bukan 99%. Bahkan bukan 50%.

Intuisinya: meski tesnya "akurat", populasi sehat jauh lebih banyak. 5% dari 999 orang sehat = ~50 false positive. Sensitivitas 99% dari 1 orang sakit = ~1 true positive. Jadi dari ~51 hasil positif, cuma 1 yang benar-benar sakit.

Aturan napas: kalau base rate kecil, false positive yang kecil pun bisa membanjiri sinyal. Bayes memberi tahu seberapa parah.

Analogi odds form

Berapa "kekuatan bukti" hasil tes positif? Likelihood ratio $= 0.99 / 0.05 = 19.8$.

Prior odds $= 0.001 / 0.999 \approx 1:999$.

Posterior odds $= 19.8 \times (1/999) = 0.0198$ → probabilitas $\approx 0.0194$. Sama, tapi jauh lebih ringkas dan tanpa penyebut.

Bacaan: "bukti menggeser odds ke 19.8×, tapi mulai dari odds yang sangat kecil." Angka itu jujur.

Analogi keseharian: filter spam

Pesan masuk berisi "transfer uang malam ini". - Prior: $P(\text{spam}) = 0.3$ - Likelihood: $P(\text{frasa} \mid \text{spam}) = 0.8$ - $P(\text{frasa} \mid \text{ham}) = 0.1$

Posterior $= \frac{0.8 \times 0.3}{0.8 \times 0.3 + 0.1 \times 0.7} = \frac{0.24}{0.31} \approx 0.77$.

Inilah sel Naive Bayes, dikalikan per fitur independen (asumsi "naive" — lihat Miskonsepsi).

⚠️ Miskonsepsi Umum

⚖️ Trade-off / Limitasi

Prior itu pedang bermata dua. Dua orang dengan prior berbeda akan punya posterior berbeda meski melihat data identik. Ini bukan bug — tapi bisa jadi jalan senjata untuk men-sneak kesimpulan yang diinginkan ke dalam "sains".

Biaya komputasi. Untuk model kompleks, $P(E)$ adalah integral atas seluruh ruang hipotesis:

$$P(E) = \int P(E \mid \theta) \, P(\theta) \, d\theta$$

Integral ini tak punya bentuk tertutup untuk banyak model. Di sinilah masuk MCMC, Variational Inference, SMC — semuanya kira-kira cuma untuk menyelesaikan penyebut ini (atau menghindarinya lewat sampling proporsional). Ini alasan historis Bayes tersendat berdekade sampai komputer cukup kuat.

Kalibrasi vs akurasi. Naive Bayes sering menang akurasi klasifikasi tapi kalah kalibrasi probabilitas. Kalau kamu butuh angka yang bisa dipercaya (misal untuk keputusan berisiko), akurasi saja tidak cukup.

Frequentist lawan sejati. Di ranah AI modern, dua pendekatan ini berjalan berdampingan: - Bayesian: MCMC, variational inference, Bayesian Neural Networks, Gaussian Processes, PPL (PyMC, Stan, NumPyro). - Frequentist: maximum likelihood, cross-validation, confidence interval klasik. - Yang menentukan bukan "mana lebih benar", tapi apa yang mau kamu klaim: interval kepercayaan (frequentist) vs distribusi keyakinan (Bayes).

Yang belum tuntas: pemilihan prior yang principled di model high-dimensional masih riset aktif (hierarchical priors, prior yang "objective", reference priors).

🛠️ Latihan Praktis

1. Verifikasi sendiri base rate. Ubah contoh medis: penyakit menyerang 1 dari 10 orang, sensitivitas tetap 99%, FP tetap 5%. Hitung posterior. Bandingkan. Apa yang berubah, dan kenapa?

2. Koding:

def bayes(prior, sens, fpr):
    p_pos = sens * prior + fpr * (1 - prior)
    return (sens * prior) / p_pos

# Sweep prior dari 0.001 ke 0.5, lihat posterior bergerak non-linear
for p in [0.001, 0.01, 0.05, 0.1, 0.3, 0.5]:
    print(p, round(bayes(p, 0.99, 0.05), 4))

Perhatikan: posterior sangat non-linear terhadap prior di ujung rendah. Itu alasan base rate nendang.

3. Derivasikan odds form dari teorema Bayes. Tulis $P(H_1|E)/P(H_2|E)$, substitusi rumus Bayes ke keduanya, buktikan $P(E)$ saling menghilang. Kalau berhasil, konsep odds form akan nempel permanen.

4. Deteksi fallacy. Cari satu klaim di berita atau iklan yang bertumpu pada $P(E|H)$ tapi dipresentasikan scara $P(H|E)$. Tulis mana yang sebenarnya diklaim dan prior apa yang implisit.

✅ Cek Pemahaman

1. Diberikan $P(A|B) = 0.9$, $P(B) = 0.1$. Bisa tidak dihitung $P(B|A)$ tanpa info tambahan? Apa yang kurang, dan kenapa?
2. Kenapa $P(E)$ disebut marginal likelihood? Dalam konteks apa kata "marginal" itu tepat?
3. Sebuah AI detector benar 95% mendeteksi essay AI, dan salah 3% untuk essay manusia. Kalau di kelas, 20% essay dibuat AI — siswa dipanggil karena terdeteksi AI, berapa peluang dia memang pakai AI? Setelah hitung, setuju tidak dengan tindakan itu?

🔑 Poin Kunci

• Bayes = definisi probabilitas kondisional, digabung. Derivasi-nya tiga baris.
• posterior ∝ likelihood × prior — penyebut cuma normalizer.
• Bentuk paling jujur secara konseptual: odds form, karena $P(E)$ hilang dan yang tersisa adalah kekuatan bukti (likelihood ratio).
• Yang sering salah: menukar $P(H|E)$ dan $P(E|H)$ — prosecutor's fallacy.
• Base rate yang kecil bisa membalik intuisi akurasi tes secara brutal.
• Prior bukan lux, itu bagian tak terpisahkan dari inferensi. Bahaya muncul saat disembunyikan.
• Bayesian & frequentist menjawab pertanyaan berbeda, bukan bersaingan.

➡️ Eksplorasi Lanjut

Bayesian Inference for Parameter Estimation — cara berpindah dari Bayes diskrit sederhana ke inferensi kontinu: prior di atas distribusi parameter (misal Beta), likelihood binomial, dan posterior yang punya bentuk tertutup (Beta-Binomial) sebagai langkah pertama menuju MCMC. Topik ini yang menghubungkan teorema Bayes ke A/B testing Bayesian, hierarchical models, dan Bayesian Neural Networks.