RAIS

深度学习中的正则化(一)

本文首发自公众号:RAIS,点击直接关注。 前言 本系列文章为《Deep Learning》读书笔记,可以参看原书一起阅读,效果更佳。本文我们聊一聊深度学习中的正则化。 深度学习中的正则化 一般来说,深度学习所要做的事情是用已有的训练集训练一个网络模型,然后针对新的数据给出预测,我们期望我们的模型在训练集和测试集上都有良好的表现,但是有的时候两者不可兼得。一种情况是在训练集上表现很好,在......

深度前馈网络

本文首发自公众号:RAIS,点击直接关注。 前言 本系列文章为《Deep Learning》读书笔记,可以参看原书一起阅读,效果更佳。从本文开始将继续学习本书的第二部分,将从第一部分介绍深度学习所需要的基础知识过渡到构建深度网络,是理论的应用与提高。 深度前馈网络 也叫 多层感知机 或者是 前馈神经网络,是典型的深度学习模型。这种模型是一种前向的映射模型,由最初的输入,经过函数 f 映射......

构建机器学习算法

本文首发自公众号:RAIS,点击直接关注。 前言 本系列文章为《Deep Learning》读书笔记,可以参看原书一起阅读,效果更佳。我们前面也介绍了一些构建机器学习或深度学习的一些内容,理解了其中部分原理和这么做的原因,接下来我们总结一下,跳出来从更高一点的方面去概括的看一看,也许会有不同的感觉。 构建机器学习算法 构建机器学习算法是有套路的:特定的数据集、代价函数、优化过程和模型。数......

随机梯度下降

本文首发自公众号:RAIS,点击直接关注。 前言 本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。 梯度下降算法 在机器学习或深度学习中,模型的训练在一般都会被转换为求使得目标函数函数值最小的参数组合的优化问题,简而言之就是优化参数,梯度下降法是优化参数的一种方法。梯度是数学上面的概念,梯度的方向是某一点方向导数最大值的的方向,其向其反方向(负梯度......

无监督学习算法

本文首发自公众号:RAIS 前言 本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。 无监督学习算法 就是无监督的一种学习方法,太抽象,有一种定义(这种定义其实不够准确,无监督和监督之间界限模糊)是说如果训练集有标签的就是有监督学习,无标签的就是无监督,没有标签,意味着不知道结果。有监督学习算法可以知道一堆图片它们是狗的照片,无监督学习算法只能知道它......

监督学习算法

本文首发自公众号:RAIS 前言 本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。 监督学习算法 监督学习算法的定义是,给定一组输入 x 和输出 y,学习如何将其关联起来,现在的大部分情况都是监督学习算法的范畴。 逻辑回归 很多的监督学习算法是基于估计概率分 布P(y|x) 的,假设参数服从高斯分布,我们可以使用最大似然估计找到对于有参分布族 P(......

最大似然估计与最大后验估计

本文首发自公众号:RAIS 前言 本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。 MLE VS MAP 最大似然函数(MLE)和最大后验概率估计(MAP)是两种完全不同的估计方法,最大似然函数属于频率派统计(认为存在唯一真值 θ),最大后验估计属于贝叶斯统计(认为 θ 是一个随机变量,符合一定的概率分布),这是两种认识方法的差异。模型不变,概率是......

估计、偏差和方差

本文首发自公众号:RAIS 前言 本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。 估计 统计的目的是为了推断,大量的统计是为了更好的推断,这就是一种估计,一种根据现有信息对可能性的一种猜测。 点估计:点估计指的是用样本数据估计总体的参数,估计的结果是一个点的数值,因此叫做点估计。这个定义非常宽泛,$\hat{\theta}_m=g(x_1, x......

超参数、验证集和K-折交叉验证

本文首发自公众号:RAIS ​前言 本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。 超参数 参数:网络模型在训练过程中不断学习自动调节的变量,比如网络的权重和偏差; 超参数:控制模型、算法的参数,是架构层面的参数,一般不是通过算法学习出来的,比如学习率、迭代次数、激活函数和层数等。 与超参数对比的概念是参数,我们平时训练网络所说的调参,指的是......

过拟合和欠拟合

本文首发自公众号:RAIS,点击直接关注。 ​前言 本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。 构建复杂的机器学习算法 上一篇文章中我们介绍了什么叫做机器学习算法极其具体的定义和所关心的问题,比较简单,接下来的文章我们将介绍一些设计学习算法的基本准则。 误差 泛化:机器学习的目的是在新的输入上具有良好的表现,而不是已有的数据,这很好理解,在......

机器学习算法

本文首发自公众号:RAIS 前言 本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。深度学习是机器学习的子集,因此想更深入的了解深度学习,需要对机器学习的一些基本原理。 学习算法 机器学习算法是一种能够从数据中学习的算法,有人给出学习的定义 “对于某类任务 T 和性能度量 P,一个计算机程序被认为可以从经验 E 中学习是指,通过经验 E 改进后,它在......

深度学习中的数值计算

前言 本系列文章为《Deep Learning》读书笔记,可以参看原书一起阅读,效果更佳。 ​数值计算 机器学习算法需要大量的数字计算,并且这些计算包含有一些迭代拟合的过程,在这个计算过程中,由于计算机的局限,无法完全精确的表示,因此总是存在误差的,小的误差经过迭代次数的增多,或者多个误差的叠加,甚至会使得算法不可用,系统失效。 上溢和下溢 下溢:在现有的精度无法表示那么小的数的时候,接近......

深度学习中的信息论

本文首发自公众号:RAIS,期待你的关注。 前言 本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。 ​信息论 信息论是数学上一个分支,非常重要,包括你能看到这篇文章信息的传输信息论在其中都发挥了极其重要的作用,我就不赘述了,我们还是讨论更学术更专业性的知识。 量化信息 非常可能的事情包含较少的信息; 较不可能的事情包含更高的信息; 独立的事件具有......

深度学习中的概率论

本文首发自公众号:RAIS,期待你的关注。 前言 本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。由于平台支持不好,因此很可惜有些内容需要用图片展示,如果有问题,或需要获取源文件,请在公众号下方点击联系我,可以直接给我微信发消息。 概率论 机器学习中,往往需要大量处理不确定量,或者是随机量,这与我们传统所需要解决掉问题是大不一样的,因此我们在机器学......

深度学习中的线性代数

​前言 本系列文章是 Deep Learning 的读书笔记,本书是深度学习极其优秀的学习参考书,有一定难度,因此本系列文章需要搭配原书一起阅读,效果更佳,如果不看原书,则假设你具有大学高等数学一般水平。 深度学习中的线性代数 易混基础概念 标量:单独一个数 向量:一行/列数 矩阵:二维数组 张量:一般指多维(0 维张量是标量,1 维张量是向量,2 维张量是矩阵) 转置:沿主对角线折叠 ......

深度学习最佳实践

最佳实践,顾名思义,就是做某事的最佳方法,当然,这里的最佳一定是绝大多数情况,但又不是百分百的情况,我们不必纠结这个问题,我们需要记住的是下面这些方法在深度学习实践中是非常好的做法。 回调机制 如果你看到这里,我有理由认为你是一个懂得程序设计懂得编程的有一定开发经验的程序员,既然如此,你一定对回调不陌生,回调类似于一种观察者的设计模式,我交给你一个任务去执行,交代结束我就继续去做自己的工作了......

现实比理论要复杂

我们试想一个实际问题,春天到了,我们要买衣服了,同时,作为服装厂商,也要开始发布新的衣服了,如果你作为一个服装厂商的技术顾问,请你分析出什么样的衣服属于今年的流行趋势,你会怎么做? 首先,作为技术宅男的你,我不认为你会对流行元素有那么多的关注,不会去看什么巴黎时装周,你能做的就是根据各种各样的数据进行分析预测。你可能会在店铺中进行一些扫码填写调查表发放一些优惠券,还可能去各大时尚网站去扒一些......

卷积神经网络处理文本序列

​我们之前讨论了卷积神经网络,从局部可以提取出特征,用于小猫小狗的图片识别处理,非常有效;也讨论了循环神经网络进行文本的处理,因为文本的顺序是顺序相关的。基于以上特点,我们把时间或者说文本的前后看做一个维度,那一段文本就是一个一维空间,相比图片的二维空间,变得更加简单了,那卷积神经网络是否可以处理这样的情况呢? 先亮出结论,答案是肯定的。图片是二维的数据,文本是一维的数据,因此我们可以对训练......

再探循环神经网络

​上一篇中,我们讨论了循环神经网络相关的基本内容,今天我们继续探讨一下循环神经网络还有那些需要注意的更高级的用法。 降低过拟合 在之前的讨论中,我们经常聊起过拟合的问题,我们一般判断训练的网络什么情况下算作训练完成,查看其精度和损失时,也都看的是其过拟合之前的数据,避免过拟合的一种方法是用 dropout 方法,随机清零的方式去实现,但是在循环神经网络中,这个问题就有点复杂了。 人们在大量的......

循环神经网络

​最近的股市震荡的有点厉害,跌的有点惨,面对如此情景,我波澜不惊,原因很简单,前几年我小试牛刀的时候我意识到了这不是我这种散户能玩得懂的,如今的我早已空仓。万物皆可 AI,如何用深度学习的方法去理解呢?当然,本篇不是一个指导买股票的文章,也不会用股票的数据信息去训练模型,我付不起这样的责任,也同样因为股票的市场行情远非一点股票价钱数据就可以解释的。下面我们来聊一聊正事,循环神经网络(RNN)......