MARK CHANG'S BLOG

1. Introduction

在機器學習中有一種用於分類的演算法, 叫作 Logistic Regression , 可以把東西分成兩類

而在自然語言處理的應用, 常常需要處理多類別的分類問題, 像是 Part of speech Tagging 就是把一個字詞分類到名詞, 動詞, 形容詞, 之類的問題

如果二元分類的 Logistic Regression , 推廣到多種類別分類, 就可以處理這種分類問題

首先, 把二元分類的 Logistic Regression 公式, 稍做調整, 如下

$$\begin{align} &p(y=true|X) = \frac{1}{1+e^{-W \cdot X }} = \frac{ e^{\frac{W \cdot X}{2}} }{ e^{\frac{W \cdot X}{2}}+e^{\frac{-W \cdot X}{2}} } \\[12pt] &p(y=false|X) = \frac{e^{-W \cdot X }}{1+e^{-W \cdot X }} = \frac{ e^{\frac{-W \cdot X}{2}} }{ e^{\frac{W \cdot X}{2}}+e^{\frac{-W \cdot X}{2}} } \\ \end{align}$$

針對多類別的 Logistic Regression , 叫作 Multinomial logistic regression , 如果總共有 $k$ 的類別, 每個類別的 label 為 $c_{i} , i \in k$ , 則公式如下

Read on →