接外包,有相关需求的可以联系我:Telegram | Email

学人工智能要用到的部分数学知识

该文章创建(更新)于10/5/2019,请注意文章的时效性!

个人的所有学习笔记

基础知识

  • 矩阵算法/高数知识

线性回归算法

误差:真实值和实际值之间的误差

1
2
3
4

  • 似然函数:由数据去推参数,什么样的参数跟我们的数据组合后恰好是真实值
  • 对数似然:乘法难解,加法就容易了,对数里面的乘法可以转换为加法

5
666
7

评估方法

8

R^2 = xxxxxx
越接近1,拟合程度越高

梯度下降

  • 引入
    当我们得到了一个目标函数后,如何进行求解?直接求解?(并不一定可解,线性回归可以当作一个特里)
  • 常规套路
    机器学习的套路就是我交给机器一堆数据,然后告诉它什么样的学习方式是对的(目标函数),然后让它朝着这个方向去做。
  • 如何优化?
    逐步完成迭代优化,每次优化一点点。

批量梯度下降

  • 容易得到最优解,但是由于每次考虑所有样本,速度很慢
  • 准确度最高

随机梯度下降

  • 每次找一个样本,迭代速度快,但不一定每次都朝着收敛的方向

小批量梯度下降法

  • 每次更新选择一小部分数据来算,实用!

9
10

学习率(步长)

  • 对结果会产生巨大的影响,一般小一些
  • 如何选择:从小(一般0.01)的时候,不行再小
  • 批处理数量: 32,63,128都可以,很多时候还得考虑内存何效率

逻辑回归(Logistic regression)

  • 目的:分类还是回归?是经典的二分类算法;
  • 机器学习算法选择:先逻辑回归再用复杂的,能简单还是用简单的;
  • 逻辑回归的决策边界:可以是非线性的

Sigmoid 函数

  • 公式:

    g(z) = 1 / (1 + e^(-z))

  • 自变量取值为任意实数,值域[0,1]
  • 解释:将任意的输入映射到了[0,1]区间,我们可以在线性回归中可以得到一个预测值,再将该值映射到Sigmoid函数中,这样就完成了由值到概率的转换,也就是分类任务

11
12

  • 似然函数
  • 对数似然
  • 此时应用梯度上升求最大值,引入J(@) = - l(@) / m 转换为梯度下降任务

13
14

参数更新

15

多分类的softmax:

总结:Logistic regression is great !

图片说明

图片截取于网上的学习视频,如有侵权,请麻烦联系我!


要不赞赏一下?

微信
支付宝
PayPal
Bitcoin

版权声明 | Copyright

除非特别说明,本博客所有作品均采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可。转载请注明转自-
https://www.emperinter.info/2019/10/05/%e5%ad%a6%e4%ba%ba%e5%b7%a5%e6%99%ba%e8%83%bd%e8%a6%81%e7%94%a8%e5%88%b0%e7%9a%84%e9%83%a8%e5%88%86%e6%95%b0%e5%ad%a6%e7%9f%a5%e8%af%86/


要不聊聊?

我相信你准备留下的内容是经过思考的!【勾选防爬虫,未勾选无法留言】

*

*



微信公众号

优惠码

阿里云国际版20美元
Vultr10美元
搬瓦工 | Bandwagon应该有折扣吧?
域名 | namesiloemperinter(1美元)