RAIS

LSTM - 长短期记忆网络

循环神经网络(RNN) 人们不是每一秒都从头开始思考，就像你阅读本文时，不会从头去重新学习一个文字，人类的思维是有持续性的。传统的卷积神经网络没有记忆，不能解决这一个问题，循环神经网络(Recurrent Neural Networks)可以解决这一个问题，在循环神经网络中，通过循环可以解决没有记忆的问题，如下图： 看到这里，你可能还是不理解为什循环神经网络就可以有记忆。我们把这个图展开：......

Posted by RAIS on 2021-02-06

三种梯度下降算法的区别(BGD, SGD, MBGD)

前言 我们在训练网络的时候经常会设置 batch_size，这个 batch_size 究竟是做什么用的，一万张图的数据集，应该设置为多大呢，设置为 1、10、100 或者是 10000 究竟有什么区别呢？ 123456# 手写数字识别网络训练方法network.fit( train_images, train_labels, epochs=5, batch_size=128) 批量......

Posted by RAIS on 2021-01-20

PCA - 主成分分析法

前言 什么叫做主成分分析法，我们先看一张图椭圆的图，如果让你找一条线，使得椭圆上所有点在该线上映射的点最分散，保留下来的信息最多，你会怎么选择这条线？若是下图，会选择水平线，这是用一维的方式去尽可能多的表示二维的数据，那么多维的数据呢，是否可以用较低维的数据尽可能表示。 如何用二维的平面去尽可能表示一个椭球面呢？ 思想 主成分分析法是一种统计方式，简化数据的方式，是一种线性变换，把数据变......

Posted by RAIS on 2021-01-18

Sigmoid 函数

前言 Sigmoid 函数（Logistic 函数）是神经网络中非常常用的激活函数，我们今天来深入了解一下 Sigmoid 函数。 函数形式 $$ S(x)=\frac{1}{1+e^{-x}} $$ $$ y=\begin{cases} 1, 当 S(x)\geq0.5 \\ 0, 当 S(x)<0.5 \end{cases} $$ $$ S(x)’=\frac{e^{-x}}{(1......

Posted by RAIS on 2021-01-17

深度学习中的正则化(一)

本文首发自公众号：RAIS，点击直接关注。 前言 本系列文章为《Deep Learning》读书笔记，可以参看原书一起阅读，效果更佳。本文我们聊一聊深度学习中的正则化。 深度学习中的正则化 一般来说，深度学习所要做的事情是用已有的训练集训练一个网络模型，然后针对新的数据给出预测，我们期望我们的模型在训练集和测试集上都有良好的表现，但是有的时候两者不可兼得。一种情况是在训练集上表现很好，在......

Posted by RAIS on 2020-07-19

深度前馈网络

本文首发自公众号：RAIS，点击直接关注。 前言 本系列文章为《Deep Learning》读书笔记，可以参看原书一起阅读，效果更佳。从本文开始将继续学习本书的第二部分，将从第一部分介绍深度学习所需要的基础知识过渡到构建深度网络，是理论的应用与提高。 深度前馈网络 也叫 多层感知机 或者是 前馈神经网络，是典型的深度学习模型。这种模型是一种前向的映射模型，由最初的输入，经过函数 f 映射......

Posted by RAIS on 2020-07-05

构建机器学习算法

本文首发自公众号：RAIS，点击直接关注。 前言 本系列文章为《Deep Learning》读书笔记，可以参看原书一起阅读，效果更佳。我们前面也介绍了一些构建机器学习或深度学习的一些内容，理解了其中部分原理和这么做的原因，接下来我们总结一下，跳出来从更高一点的方面去概括的看一看，也许会有不同的感觉。 构建机器学习算法 构建机器学习算法是有套路的：特定的数据集、代价函数、优化过程和模型。数......

Posted by RAIS on 2020-04-12

随机梯度下降

本文首发自公众号：RAIS，点击直接关注。 前言 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。 梯度下降算法 在机器学习或深度学习中，模型的训练在一般都会被转换为求使得目标函数函数值最小的参数组合的优化问题，简而言之就是优化参数，梯度下降法是优化参数的一种方法。梯度是数学上面的概念，梯度的方向是某一点方向导数最大值的的方向，其向其反方向（负梯度......

Posted by RAIS on 2020-04-10

无监督学习算法

本文首发自公众号：RAIS 前言 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。 无监督学习算法 就是无监督的一种学习方法，太抽象，有一种定义（这种定义其实不够准确，无监督和监督之间界限模糊）是说如果训练集有标签的就是有监督学习，无标签的就是无监督，没有标签，意味着不知道结果。有监督学习算法可以知道一堆图片它们是狗的照片，无监督学习算法只能知道它......

Posted by RAIS on 2020-04-07

监督学习算法

本文首发自公众号：RAIS 前言 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。 监督学习算法 监督学习算法的定义是，给定一组输入 x 和输出 y，学习如何将其关联起来，现在的大部分情况都是监督学习算法的范畴。 逻辑回归 很多的监督学习算法是基于估计概率分 布P(y|x) 的，假设参数服从高斯分布，我们可以使用最大似然估计找到对于有参分布族 P(......

Posted by RAIS on 2020-04-05

最大似然估计与最大后验估计

本文首发自公众号：RAIS 前言 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。 MLE VS MAP 最大似然函数（MLE）和最大后验概率估计（MAP）是两种完全不同的估计方法，最大似然函数属于频率派统计（认为存在唯一真值 θ），最大后验估计属于贝叶斯统计（认为 θ 是一个随机变量，符合一定的概率分布），这是两种认识方法的差异。模型不变，概率是......

Posted by RAIS on 2020-04-04

估计、偏差和方差

本文首发自公众号：RAIS 前言 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。 估计 统计的目的是为了推断，大量的统计是为了更好的推断，这就是一种估计，一种根据现有信息对可能性的一种猜测。 点估计：点估计指的是用样本数据估计总体的参数，估计的结果是一个点的数值，因此叫做点估计。这个定义非常宽泛，$\hat{\theta}_m=g(x_1, x......

Posted by RAIS on 2020-04-03

超参数、验证集和K-折交叉验证

本文首发自公众号：RAIS ​前言 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。 超参数 参数：网络模型在训练过程中不断学习自动调节的变量，比如网络的权重和偏差； 超参数：控制模型、算法的参数，是架构层面的参数，一般不是通过算法学习出来的，比如学习率、迭代次数、激活函数和层数等。 与超参数对比的概念是参数,我们平时训练网络所说的调参，指的是......

Posted by RAIS on 2020-04-02

过拟合和欠拟合

本文首发自公众号：RAIS，点击直接关注。 ​前言 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。 构建复杂的机器学习算法 上一篇文章中我们介绍了什么叫做机器学习算法极其具体的定义和所关心的问题，比较简单，接下来的文章我们将介绍一些设计学习算法的基本准则。 误差 泛化：机器学习的目的是在新的输入上具有良好的表现，而不是已有的数据，这很好理解，在......

Posted by RAIS on 2020-04-01

机器学习算法

本文首发自公众号：RAIS 前言 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。深度学习是机器学习的子集，因此想更深入的了解深度学习，需要对机器学习的一些基本原理。 学习算法 机器学习算法是一种能够从数据中学习的算法，有人给出学习的定义 “对于某类任务 T 和性能度量 P，一个计算机程序被认为可以从经验 E 中学习是指，通过经验 E 改进后，它在......

Posted by RAIS on 2020-03-31

深度学习中的数值计算

前言 本系列文章为《Deep Learning》读书笔记，可以参看原书一起阅读，效果更佳。 ​数值计算 机器学习算法需要大量的数字计算，并且这些计算包含有一些迭代拟合的过程，在这个计算过程中，由于计算机的局限，无法完全精确的表示，因此总是存在误差的，小的误差经过迭代次数的增多，或者多个误差的叠加，甚至会使得算法不可用，系统失效。 上溢和下溢 下溢：在现有的精度无法表示那么小的数的时候，接近......

Posted by RAIS on 2020-03-29

深度学习中的信息论

本文首发自公众号：RAIS，期待你的关注。 前言 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。 ​信息论 信息论是数学上一个分支，非常重要，包括你能看到这篇文章信息的传输信息论在其中都发挥了极其重要的作用，我就不赘述了，我们还是讨论更学术更专业性的知识。 量化信息 非常可能的事情包含较少的信息； 较不可能的事情包含更高的信息； 独立的事件具有......

Posted by RAIS on 2020-03-28

深度学习中的概率论

本文首发自公众号：RAIS，期待你的关注。 前言 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。由于平台支持不好，因此很可惜有些内容需要用图片展示，如果有问题，或需要获取源文件，请在公众号下方点击联系我，可以直接给我微信发消息。 概率论 机器学习中，往往需要大量处理不确定量，或者是随机量，这与我们传统所需要解决掉问题是大不一样的，因此我们在机器学......

Posted by RAIS on 2020-03-27

深度学习中的线性代数

前言 本系列文章是 Deep Learning 的读书笔记，本书是深度学习极其优秀的学习参考书，有一定难度，因此本系列文章需要搭配原书一起阅读，效果更佳，如果不看原书，则假设你具有大学高等数学一般水平。 深度学习中的线性代数 易混基础概念 标量：单独一个数 向量：一行/列数 矩阵：二维数组 张量：一般指多维（0 维张量是标量，1 维张量是向量，2 维张量是矩阵） 转置：沿主对角线折叠 ......

Posted by RAIS on 2020-03-26

深度学习最佳实践

最佳实践，顾名思义，就是做某事的最佳方法，当然，这里的最佳一定是绝大多数情况，但又不是百分百的情况，我们不必纠结这个问题，我们需要记住的是下面这些方法在深度学习实践中是非常好的做法。 回调机制 如果你看到这里，我有理由认为你是一个懂得程序设计懂得编程的有一定开发经验的程序员，既然如此，你一定对回调不陌生，回调类似于一种观察者的设计模式，我交给你一个任务去执行，交代结束我就继续去做自己的工作了......

Posted by RAIS on 2020-03-23


Search
About me
RECENT POSTS
ARCHIVES
FRIENDS