[人工智能]更深入地认识逻辑回归&神经网络

一、逻辑回归

• 逻辑回归的运算过程：01-wx+b;02-sigmoid函数

• 逻辑回归没有分布假设

• 逻辑回归的损失函数是cross entrypy，衡量两个分布的差异有多大。
  

• 逻辑回归可用于二分类或多分类问题，区别在于激活函数。二分类问题，其激活函数是sigmoid函数（多分类问题的激活函数用softmax函数）。
  softmax函数：
  

二、逻辑回归与deep learning的联系

• 逻辑回归的缺点：只能线性分类
  

• 解决只能线性分类的方法——特征提取：连续做多次逻辑回归，相当于多个NN神经网络（非线性转化），也就是连续多次wx+b后取sigmoid函数
  

三、deep learning

（一）结构

deep=很多个hidden layer，相当于特征提取，替代了传统机器学习中的特征工程，所以deep learning中的重要工作是design neuron structure