Bài tập phân lớp sử dụng Naive Bayes

2017-08-11

Sử dụng Naive Bayes, phân lớp cho tập thuộc tính (A1, A2) = (1, 1):

Cho C₁, C₂,..,C_n là phân hoạch không gian mẫu M. A là biến cố được dự đoán thuộc phân hoạch (lớp) C_i nếu:

$P(C_{i} | A) > P(C_{j}|A) ~~ \forall ~~ j\neq i, j = 1..n$

Nghĩa là tiến hành so sánh các xác suất có điều kiện của biến cố C_i được tính với điều kiện biến cố A đã xảy ra, và chọn xác suất lớn nhất.

$P(C_{i}|A) =\frac{P(A|C_{i})P(C_{i})}{P(A)} ~~~~~ (1)$

Như vậy để so sánh $P(C_{i} \mid A)$ , ta so sánh phần tử của (1). Theo xác suất kết hợp, phần tử có thể biến đối thành:

$P(A|C_{i})P(C_{i}) = P(A, C_{i}) ~~ (=P(A \cap C_{i}))$

Giả sử $A = \bigcap_{j=1}^{k}A_{j}$ , và các biến cố A_j độc lập.

Suy ra:

$P(A, C_{i}) = P(A_{1},A_{2},..,A_{k},C_{i})$

$P(A_{1},A_{2},..,A_{k},C_{i}) = P(C_{i})\prod_{i=1}^{k}P(A_{i}|A_{i+1},..,A_{k},C_{i}) ~~~~~ (2)$

vì các A_i độc lập nên:

$P(A_{i}|A_{i+1},..,A_{k},C_{i}) = P(A_{i}|C_{i})$

Do đó $(2)$ trở thành:

$P(A_{1},A_{2},..,A_{k},C_{i}) = P(C_{i})\prod_{i=1}^{k}P(A_{i}|C_{i})$

Như vậy, thay vì so sánh các $P(C_{i} \mid A)$ , chúng ta có thể so sánh các $P(C_{i})\prod_{i=1}^{k}P(A_{i} \mid C_{i})$ .

Quay lại bài toán trên, để phân lớp khi thuộc tính X = (A1, A2) = (1, 1), ta so sánh 2 xác suất có điều kiện:

$P(C_{1} \mid X)$ và $P(C_{2} \mid X)$

Theo lý thuyết, thay vì so sánh 2 xác suất trên, ta đi so sánh:

$P(C_{1})P(A_{1}=1 \mid C_{1})P(A_{2}=1 \mid C_{1})$ và $P(C_{2})P(A_{1}=1 \mid C_{2})P(A_{2}=1 \mid C_{1})$

Lần lượt có:

$P(C_{1}) = \frac{3}{5}$ , $P(C_{2}) = \frac{2}{5}$

$P(A_{1}=1 \mid C_{1}) = \frac{1}{3}$ , $P(A_{2}=1 \mid C_{1}) = \frac{1}{3}$

$P(A_{1}=1 \mid C_{2}) = \frac{1}{2}$ , $P(A_{2}=1 \mid C_{2}) = \frac{1}{2}$

Sau khi tính toán, nhận thấy rằng:

$P(C_{1} \mid X) < P(C_{2} \mid X) ~~~~~ (\frac{1}{15}<\frac{1}{10})$

Vậy X = (A1, A2) = (1, 1) thuộc lớp C₂.