PyTorch 教程    如何理解深度学习中的学习率？
撰写于    浏览:1406 次  分类: PyTorch 教程
1、什么是学习率？学习率是指导我们在梯度下降法中，如何使用损失函数的梯度调整网络权重的超参数。其数学表达式如下所：new_weight = old_weight - learning_rate * gradient2、学习率的数学本质如上述公式，我们可以看到，学习率类似于微积分中的dx，所以学习率也被称为步长。3、学习率对损失值甚至深度网络的影响？[...]
PyTorch 教程    AdaGrad算法
撰写于    浏览:1029 次  分类: PyTorch 教程
AdaGrad算法是什么？AdaGrad算法就是将每一个参数的每一次迭代的梯度取平方累加后在开方，用全局学习率除以这个数，作为学习率的动态更新。梯度下降算法、随机梯度下降算法（SGD）、小批量梯度下降算法（mini-batch SGD）、动量法（momentum）、Nesterov动量法有一个共同的特点是：对于每一个参数都用相同的学习率进行更新。但[...]
PyTorch 教程    AdaGrad：自适应梯度算法
撰写于    浏览:1055 次  分类: PyTorch 教程
AdaGrad是解决不同参数应该使用不同的更新速率的问题。Adagrad自适应地为各个参数分配不同学习率的算法。其公式如下：但是我们发现一个现象，本来应该是随着gradient的增大，我们的学习率是希望增大的，也就是图中的gt；但是与此同时随着gradient的增大，我们的分母是在逐渐增大，也就对整体学习率是减少的，这是为什么呢？这是因为随着我们更[...]
PyTorch 教程    Adam优化器
撰写于    浏览:866 次  分类: PyTorch 教程
Adam优化器是深度学习中最流行的优化器之一。它适用于很多种问题，包括带稀疏或带噪声梯度的模型。其易于精调的特性使得它能够快速获得很好的结果，实际上，默认的参数配置通常就能实现很好的效果。Adam 优化器结合了 AdaGrad 和 RMSProp 的优点。Adam 对每个参数使用相同的学习率，并随着学习的进行而独立地适应。此外，Adam 是基于动量[...]
微积分    一文看懂常用的梯度下降算法
撰写于    浏览:1016 次  分类: 微积分
概述梯度下降算法（Gradient Descent Optimization）是神经网络模型训练最常用的优化算法。对于深度学习模型，基本都是采用梯度下降算法来进行优化训练的。梯度下降算法背后的原理：目标函数关于参数的梯度将是目标函数上升最快的方向。对于最小化优化问题，只需要将参数沿着梯度相反的方向前进一个步长，就可以实现目标函数的下降。这个步长又称[...]
微积分    随机梯度下降（SGD）优化算法详细介绍
撰写于    浏览:1911 次  分类: 微积分
1、随机梯度下降是什么？随机梯度下降算法每次从训练集中随机选择一个样本来进行学习，即： θ=θ−η⋅∇θJ(θ;xi;yi)2、随机梯度下降（SGD）算法的优势批量梯度下降算法每次都会使用全部训练样本，因此这些计算是冗余的，因为每次都使用完全相同的样本集。而随机梯度下降算法每次只随机选择一个样本来更新模型参数，因此每次的学习是非常快速的，并且可以进[...]
微积分    梯度与微分
撰写于    浏览:1143 次  分类: 微积分
如何看待微分的意义，可以有不同的角度，最常用的两种是：（1）函数图像中，某点的切线的斜率（2）函数的变化率通常情况下都是单变量的微分，当一个函数有多个变量的时候，就有了多变量的微分，即分别对每个变量进行求微分。梯度实际上就是多变量微分的一般化。梯度就是分别对每个变量进行微分，然后用逗号分割开，梯度是用<>包括起来，说明梯度其实一个向量。[...]
微积分    梯度下降法的基本思想
撰写于    浏览:1053 次  分类: 微积分
梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上下来,找到山的最低点，也就是山谷。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方[...]
默认分类    向量简介
撰写于    浏览:864 次  分类: 默认分类
什么是向量？在数学中，向量（也称为矢量），指具有大小和方向的量。向量可以形象化地表示为带箭头的线段。箭头所指代表向量的方向；线段长度代表向量的大小。与向量对应的量叫做标量，标量只有大小，没有方向。向量的表示法向量的记法1：黑体（粗体）的字母（如a、b、u、v），书写时在字母顶上加一小箭头“→”。 向量的记法2：如果给定向量的起点（A）和终点（B），[...]
强化学习    《强化学习》高清完整PDF版 下载
撰写于    浏览:2058 次  分类: 强化学习
1、封面介绍2、出版时间2018年7月3、推荐理由本书共有19章，分为六大部分，详细介绍了强化学习中各领域的基本理论和新进展，内容包括：MDP、动态规划、蒙特卡罗方法、批处理强化学习、TD学习、Q学习、策略迭代的小二乘法、迁移学习、贝叶斯强化学习、一阶逻辑MDP、层次式强化学习、演化计算、预测性定义状态表示、去中心化的部分可观察MDP、博弈论和多学[...]
强化学习    《深入浅出强化学习：原理入门》高清完整PDF版 下载
撰写于    浏览:1329 次  分类: 强化学习
1、封面介绍2、出版时间2018年1月3、推荐理由《深入浅出强化学习：原理入门》针对初学者的需求，直接分析原理，并辅以编程实践。从解决问题的思路，层层剖析，普及了传统的强化学习基本方法和当前炙手可热的深度强化学习方法，直接将读者带入强化学习的殿堂。读完本书，读者能在熟练掌握原理的基础上，直接上手编程实践。《深入浅出强化学习：原理入门》用通俗易懂的语[...]
强化学习    《Python强化学习实战》高清完整PDF版 下载
撰写于    浏览:2110 次  分类: 强化学习
1、封面介绍2、出版时间2021年2月3、推荐理由《Python强化学习实战：使用OpenAI Gym、TensorFlow和Keras》带领读者深入强化学习算法的世界，并使用Python在不同用例中应用它们。书中涵盖了一些重要主题，例如策略梯度算法和Q学习算法，并使用了TensorFlow、Keras和OpenAIGym框架。　　《Python强[...]
强化学习    《深度强化学习：入门与实践指南》高清完整PDF版 下载
撰写于    浏览:2258 次  分类: 强化学习
1、封面介绍2、出版时间2021年4月3、推荐理由本书对RL的核心知识进行了全面深入讲解，并为你提供了编写智能体代码的详细知识，以使其执行一系列艰巨的实际任务。帮助你掌握如何在“网格世界”环境中实现Q-learning，教会你的智能体购买和交易股票，并掌握如何通过实现自然语言模型来推动聊天机器人的发展。强化学习是机器学习发展非常迅速的一个领域，由于[...]
默认分类    CUDA与cuDNN介绍
撰写于    浏览:1323 次  分类: 默认分类
最近带徒教人深度学习，中间碰到了很多基础知识，在备课的过程中，顺便自己也复习了一遍，深深体会到了“教学相长”的甜头。本文主要是给大家讲授一下关于CUDA与cuDNN方面的内容。1、什么是CUDACUDA全称是：ComputeUnified Device Architecture，是显卡厂商英伟达（NVIDIA）推出的运算平台。CUDA发布于2006[...]
默认分类    本站资源下载通道
撰写于    浏览:1577 次  分类: 默认分类
本站的所有资源均来源于互联网，来源于其他热心读者的提供，仅供个人学习，请勿挪作他用。最后提醒一下：请勿给站长发红包！谢谢大家的支持！本站资源下载通道是微信公众号，马上开启，敬请期待......
飞燕网
专注于AI实习

    友情链接

飞燕网：专注于AI实习  ©  2024   运行时间： 1872天   上线时间：2019年3月19日
京ICP备14057001号-6