Logistic-regression

梯度下降与逻辑回归

承接梯度下降实现线性拟合矩阵推导及实现,线性回归用于拟合线性关系的数据。而逻辑回归更多用于二分类。即,因变量的值从连续的值变成了离散的{0,1}\{0,1\}。在这种语意下,我们重新选取假设函数和损失函数,并按照与求解线性回归的梯度下降同样的思路,进行参数拟合。

在这里,我们将重点阐述假设函数和损失函数,以及相应的梯度求解。

假设函数

假设函数其实就是我们选取的符合数据分布的函数形式。在线性回归中,我们定义假设函数为θTx\theta^Tx,而在逻辑回归中,我们引入sigmoidsigmoid函数。

sigmoid(z)=g(z)=11+ezsigmoid(z) = g(z) = \frac{1}{1+e^{-z}}

函数图像如下:

image-20210118171706554

我们发现该函数为严格增函数,定义域为(,)(-\infty,\infty),值域为(0,1)(0,1)limzg(z)=1,limz=0\lim_{z\rightarrow \infty}g(z)=1,\lim_{z\rightarrow -\infty} = 0。也就是说,通过这个函数,我们将实数映射到了(0,1)(0,1)区间。我们将这个函数作用于线性回归的假设函数,得到逻辑回归的假设函数。