撰写于    浏览:4217 次  分类: 默认分类
大家好,我是站长飞燕。本站上线数年有余,为技术爱好者无偿提供了若干PDF电子书,感谢大家的支持!来北京的最初几年时间里,住着租的房子,每次搬家的时候,面对着很多的书,我就有点发愁,扔的话有点舍不得,搬的话有点费事,当时我就想,这些书要是变成PDF电子书就好了。后来,买了房子,由于家离公司比较远,从丰台边角到软件园,路上差不多得花费2个小时,电子书就[...]

撰写于    浏览:284 次  分类: 梯度介绍
lr_scheduler 简介torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率(learning rate)的方法。一般情况下我们会设置随着epoch的增大而逐渐减小学习率从而达到更好的训练效果。为什么需要调整学习率在深度学习训练过程中,最重要的参数就是学习率,通常来说,在整个训练过层中,学习率不会一[...]

撰写于    浏览:326 次  分类: 梯度介绍
学习率的作用在机器学习中,监督式学习通过定义一个模型,并根据训练集上的数据估计最优参数。梯度下降法是一个广泛被用来最小化模型误差的参数优化算法。梯度下降法通过多次迭代,并在每一步中最小化成本函数在迭代过程中会控制模型的学习进度。​在梯度下降法中,都是给定的统一的学习率,整个优化过程中都以确定的步长进行更新,在迭代优化的前期中,学习率较大,则前进的步[...]

撰写于    浏览:258 次  分类: 梯度介绍
1、什么是学习率?学习率是指导我们在梯度下降法中,如何使用损失函数的梯度调整网络权重的超参数。其数学表达式如下所:new_weight = old_weight - learning_rate * gradient2、学习率的数学本质如上述公式,我们可以看到,学习率类似于微积分中的dx,所以学习率也被称为步长。3、学习率对损失值甚至深度网络的影响?[...]

撰写于    浏览:261 次  分类: 梯度介绍
AdaGrad算法是什么?AdaGrad算法就是将每一个参数的每一次迭代的梯度取平方累加后在开方,用全局学习率除以这个数,作为学习率的动态更新。梯度下降算法、随机梯度下降算法(SGD)、小批量梯度下降算法(mini-batch SGD)、动量法(momentum)、Nesterov动量法有一个共同的特点是:对于每一个参数都用相同的学习率进行更新。但[...]

撰写于    浏览:271 次  分类: 梯度介绍
AdaGrad是解决不同参数应该使用不同的更新速率的问题。Adagrad自适应地为各个参数分配不同学习率的算法。其公式如下:但是我们发现一个现象,本来应该是随着gradient的增大,我们的学习率是希望增大的,也就是图中的gt;但是与此同时随着gradient的增大,我们的分母是在逐渐增大,也就对整体学习率是减少的,这是为什么呢?这是因为随着我们更[...]

撰写于    浏览:242 次  分类: 梯度介绍
Adam优化器是深度学习中最流行的优化器之一。它适用于很多种问题,包括带稀疏或带噪声梯度的模型。其易于精调的特性使得它能够快速获得很好的结果,实际上,默认的参数配置通常就能实现很好的效果。Adam 优化器结合了 AdaGrad 和 RMSProp 的优点。Adam 对每个参数使用相同的学习率,并随着学习的进行而独立地适应。此外,Adam 是基于动量[...]

撰写于    浏览:250 次  分类: 梯度介绍
概述梯度下降算法(Gradient Descent Optimization)是神经网络模型训练最常用的优化算法。对于深度学习模型,基本都是采用梯度下降算法来进行优化训练的。梯度下降算法背后的原理:目标函数关于参数的梯度将是目标函数上升最快的方向。对于最小化优化问题,只需要将参数沿着梯度相反的方向前进一个步长,就可以实现目标函数的下降。这个步长又称[...]

撰写于    浏览:324 次  分类: 梯度介绍
1、随机梯度下降是什么?随机梯度下降算法每次从训练集中随机选择一个样本来进行学习,即: θ=θ−η⋅∇θJ(θ;xi;yi)2、随机梯度下降(SGD)算法的优势批量梯度下降算法每次都会使用全部训练样本,因此这些计算是冗余的,因为每次都使用完全相同的样本集。而随机梯度下降算法每次只随机选择一个样本来更新模型参数,因此每次的学习是非常快速的,并且可以进[...]

撰写于    浏览:271 次  分类: 梯度介绍
如何看待微分的意义,可以有不同的角度,最常用的两种是:(1)函数图像中,某点的切线的斜率(2)函数的变化率通常情况下都是单变量的微分,当一个函数有多个变量的时候,就有了多变量的微分,即分别对每个变量进行求微分。梯度实际上就是多变量微分的一般化。梯度就是分别对每个变量进行微分,然后用逗号分割开,梯度是用<>包括起来,说明梯度其实一个向量。[...]

撰写于    浏览:204 次  分类: 梯度介绍
梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景:一个人被困在山上,需要从山上下来,找到山的最低点,也就是山谷。但此时山上的浓雾很大,导致可视度很低。因此,下山的路径就无法确定,他必须利用自己周围的信息去找到下山的路径。这个时候,他就可以利用梯度下降算法来帮助自己下山。具体来说就是,以他当前的所处的位置为基准,寻找这个位置最陡峭的地方[...]

撰写于    浏览:149 次  分类: 默认分类
什么是向量?在数学中,向量(也称为矢量),指具有大小和方向的量。向量可以形象化地表示为带箭头的线段。箭头所指代表向量的方向;线段长度代表向量的大小。与向量对应的量叫做标量,标量只有大小,没有方向。向量的表示法向量的记法1:黑体(粗体)的字母(如a、b、u、v),书写时在字母顶上加一小箭头“→”。 向量的记法2:如果给定向量的起点(A)和终点(B),[...]

撰写于    浏览:562 次  分类: 强化学习电子书
1、封面介绍2、出版时间2018年7月3、推荐理由本书共有19章,分为六大部分,详细介绍了强化学习中各领域的基本理论和新进展,内容包括:MDP、动态规划、蒙特卡罗方法、批处理强化学习、TD学习、Q学习、策略迭代的小二乘法、迁移学习、贝叶斯强化学习、一阶逻辑MDP、层次式强化学习、演化计算、预测性定义状态表示、去中心化的部分可观察MDP、博弈论和多学[...]

撰写于    浏览:307 次  分类: 强化学习电子书
1、封面介绍2、出版时间2018年1月3、推荐理由  从零起步掌握强化学习技术精髓,称霸人工智能领域!《深入浅出强化学习:原理入门》针对初学者的需求,直接分析原理,并辅以编程实践。从解决问题的思路,层层剖析,普及了传统的强化学习基本方法和当前炙手可热的深度强化学习方法,直接将读者带入强化学习的殿堂。读完本书,读者能在熟练掌握原理的基础上,直接上手编[...]

撰写于    浏览:684 次  分类: 强化学习电子书
1、封面介绍2、出版时间2021年2月3、推荐理由  《Python强化学习实战:使用OpenAI Gym、TensorFlow和Keras》带领读者深入强化学习算法的世界,并使用Python在不同用例中应用它们。其中涵盖了一些重要主题,例如策略梯度算法和Q学习算法,并使用了TensorFlow、Keras和OpenAIGym框架。  《Pytho[...]

飞燕网
人工智能,资源分享

    友情链接