PyTorch 教程    调整学习率的利器：torch.optim.lr_scheduler
撰写于：  浏览：1944 次  分类：PyTorch 教程
lr_scheduler 简介torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率（learning rate）的方法。一般情况下我们会设置随着epoch的增大而逐渐减小学习率从而达到更好的训练效果。为什么需要调整学习率在深度学习训练过程中，最重要的参数就是学习率，通常来说，在整个训练过层中，学习率不会一[...]
PyTorch 教程    如何理解深度学习中的学习率？
撰写于：  浏览：2268 次  分类：PyTorch 教程
1、什么是学习率？学习率是指导我们在梯度下降法中，如何使用损失函数的梯度调整网络权重的超参数。其数学表达式如下所：new_weight = old_weight - learning_rate * gradient2、学习率的数学本质如上述公式，我们可以看到，学习率类似于微积分中的dx，所以学习率也被称为步长。3、学习率对损失值甚至深度网络的影响？[...]
PyTorch 教程    AdaGrad算法
撰写于：  浏览：1883 次  分类：PyTorch 教程
AdaGrad算法是什么？AdaGrad算法就是将每一个参数的每一次迭代的梯度取平方累加后在开方，用全局学习率除以这个数，作为学习率的动态更新。梯度下降算法、随机梯度下降算法（SGD）、小批量梯度下降算法（mini-batch SGD）、动量法（momentum）、Nesterov动量法有一个共同的特点是：对于每一个参数都用相同的学习率进行更新。但[...]
PyTorch 教程    AdaGrad：自适应梯度算法
撰写于：  浏览：1887 次  分类：PyTorch 教程
AdaGrad是解决不同参数应该使用不同的更新速率的问题。Adagrad自适应地为各个参数分配不同学习率的算法。其公式如下：但是我们发现一个现象，本来应该是随着gradient的增大，我们的学习率是希望增大的，也就是图中的gt；但是与此同时随着gradient的增大，我们的分母是在逐渐增大，也就对整体学习率是减少的，这是为什么呢？这是因为随着我们更[...]
PyTorch 教程    Adam优化器
撰写于：  浏览：1689 次  分类：PyTorch 教程
Adam优化器是深度学习中最流行的优化器之一。它适用于很多种问题，包括带稀疏或带噪声梯度的模型。其易于精调的特性使得它能够快速获得很好的结果，实际上，默认的参数配置通常就能实现很好的效果。Adam 优化器结合了 AdaGrad 和 RMSProp 的优点。Adam 对每个参数使用相同的学习率，并随着学习的进行而独立地适应。此外，Adam 是基于动量[...]
默认分类    向量简介
撰写于：  浏览：1638 次  分类：默认分类
什么是向量？在数学中，向量（也称为矢量），指具有大小和方向的量。向量可以形象化地表示为带箭头的线段。箭头所指代表向量的方向；线段长度代表向量的大小。与向量对应的量叫做标量，标量只有大小，没有方向。向量的表示法向量的记法1：黑体（粗体）的字母（如a、b、u、v），书写时在字母顶上加一小箭头“→”。 向量的记法2：如果给定向量的起点（A）和终点（B），[...]
默认分类    CUDA与cuDNN介绍
撰写于：  浏览：2201 次  分类：默认分类
最近带徒教人深度学习，中间碰到了很多基础知识，在备课的过程中，顺便自己也复习了一遍，深深体会到了“教学相长”的甜头。本文主要是给大家讲授一下关于CUDA与cuDNN方面的内容。1、什么是CUDACUDA全称是：ComputeUnified Device Architecture，是显卡厂商英伟达（NVIDIA）推出的运算平台。CUDA发布于2006[...]
默认分类    本站资源下载通道
撰写于：  浏览：2836 次  分类：默认分类
本站的所有资源均来源于互联网，来源于其他热心读者的提供，仅供个人学习，请勿挪作他用。最后提醒一下：请勿给站长发红包！谢谢大家的支持！本站资源下载通道是微信公众号，马上开启，敬请期待......
PyTorch 教程    GAN原理介绍
撰写于：  浏览：1784 次  分类：PyTorch 教程
1、GAN原理介绍生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。GAN出自[...]
默认分类    GNN方法在推荐系统领域的应用
撰写于：  浏览：2009 次  分类：默认分类
推荐系统会存储大量的用户与items交互数据，这些数据可以用二部图呈现。二部图对消除推荐系统中数据稀疏性和冷启动有着巨大的帮助。本文主要总结了3个典型的GNN方法在推荐系统领域处理用户与items的二部图。user-item二部图我们可以通过每个用户交互过的item列表，构建一个巨大的二部图，如下图所示：传统的神经网络方法(如协同过滤，双塔)，是无[...]
默认分类    confidence weight 分类
撰写于：  浏览：1567 次  分类：默认分类
通常情况下，confidence weight可以被分为三类：（1）Heuristic：典型的例子是加权的矩阵分解以及动态MF，未观测到的交互被赋予较低的权重。还有很多工作则基于用户的活跃度指定置信度等。但是赋予准确的置信权重是非常有挑战的，所以这块依然处理的不是非常好。（2）Sampling: 另一种解决曝光bias的方式就是采样，经常采用的采样[...]
推荐系统电子书    NLTK学习简介
撰写于：  浏览：1803 次  分类：推荐系统电子书
1、NLTK是什么？NLTK 全称"Natural Language Toolkit"，诞生于宾夕法尼亚大学，以研究和教学为目的而生，因此也特别适合入门学习。NLTK虽然主要面向英文，但是它的很多NLP模型或者模块是语言无关的，因此如果某种语言有了初步的Tokenization或者分词，NLTK的很多工具包是可以复用的。NLTK收集了大量公开数据集[...]
默认分类    “中国版Clubhouse”引爆2021年互联网第一场大战
撰写于：  浏览：1397 次  分类：默认分类
2021年初，一款现象级的应用打破了互联网圈许久的沉寂。在网红马斯克的站台下，美国音频社交软件Clubhouse在海内外一炮而红。一时间，全网都在疯狂寻求邀请码。在eBay平台上，一个Clubhouse邀请码甚至被炒到了100美元上下。如此火爆的市场情绪迅速被中国互联网平台捕捉，数款号称“中国版Clubhouse”的产品纷纷上线。不管是主流大厂，抑[...]
数据结构与算法电子书    《算法之禅 递推与递归》高清完整PDF版 下载
撰写于：  浏览：4704 次  分类：数据结构与算法电子书
1、封面介绍2、出版时间2020年10月3、推荐理由算法是个有趣的东西——针对某个问题设计算法的时候，不会的人感觉像“大海捞针”，而会的人则感觉像“一苇渡江”。高手的头脑里都有一张“算法地图”，算法之间不是孤立的，而是彼此连通的。算法之间的内在联系有很多，但挖掘到根源上，就是递推与递归两种思想。本书从深度解析递推和递归这基本算法思想开始，用它们贯穿[...]
数据结构与算法电子书    《算法大视界》高清完整PDF版 下载
撰写于：  浏览：2167 次  分类：数据结构与算法电子书
1、封面介绍2、出版时间2021年2月3、推荐理由本书以"问题驱动”为导向，结合数据结构课程知识的精华内容，通过学生对日常学习、生活中遇到的典型问题和案例的分析、讨论，引导学生了解数据结构的相关知识，培养学生对算法设计和分析的兴趣，帮助学生了解"计算思维”的内涵及本质，提高学生"IT”职业素养和分析能力。 本书共10章，内容涉及线性表、堆栈、队列、[...]
关注公众号，感悟技术与人生

飞燕网
一个踏实、严谨的网站！

专注于PyTorch、强化学习和大模型技术

    友情链接

飞燕网 - 专注于PyTorch、强化学习和大模型技术  ©  2026   运行时间： 2657天   上线时间：2019年3月19日
京ICP备14057001号