分类 PyTorch 教程 下的文章


撰写于    浏览:1392 次  分类: PyTorch 教程
1、封面介绍2、出版时间2021年2月3、推荐理由本书全面介绍了深度学习知识,借助数学公式、示意图和代码,旨在帮助读者从数学层面、概念层面和应用层面理解神经网络。读者可以跟随本书构建和训练神经网络模型,从而解决实际问题。另外,本书着重介绍卷积神经网络和循环神经网络,并提供PyTorch开源神经网络库的使用方法,有助于学习构建更高级的神经网络架构。4[...]

撰写于    浏览:730 次  分类: PyTorch 教程
1、封面介绍2、出版时间2022年2月3、推荐理由虽然很多深度学习工具都使用Python,但PyTorch 库是真正具备Python 风格的。对于任何了解NumPy 和scikit-learn 等工具的人来说,上手PyTorch 轻而易举。PyTorch 在不牺牲高级特性的情况下简化了深度学习,它非常适合构建快速模型,并且可以平稳地从个人应用扩展到[...]

撰写于    浏览:1150 次  分类: PyTorch 教程
Seq2Seq模型可以用于处理输入序列和输出序列长度不相同的问题。常用的场景有:机器翻译、语音识别和文字识别三个领域为例。1、机器翻译领域比如将“ABC”输入序列翻译成“WXYZ”输出序列。Seq2Seq模型可以处理输入序列和输出序列长度不同问题。2、语音识别在attention-based的Seq2Seq基础上,引入了混合attention机制,[...]

撰写于    浏览:723 次  分类: PyTorch 教程
什么是Seq2Seq?所谓Seq2Seq(Sequence to Sequence),就是一种能够根据给定的序列,通过特定的方法生成另一个序列的方法。它被提出于2014年,最早由两篇文章独立地阐述了它主要思想,分别是Google Brain团队的《Sequence to Sequence Learning with Neural Networks》[...]

撰写于    浏览:2920 次  分类: PyTorch 教程
《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型,叫 Transformer,抛弃了以往深度学习任务里面使用到的CNN和RNN,这个模型广泛应用于NLP领域,例如机器翻译,问答系统,文本摘要和语音识别等等方向。《Attention Is All Yo[...]

撰写于    浏览:244 次  分类: PyTorch 教程
1、封面介绍2、出版时间2018年1月3、推荐理由书从多维数组Tensor开始,循序渐进地带领读者了解PyTorch各方面的基础知识,并结合基础知识和前沿研究,带领读者从零开始完成几个经典有趣的深度学习小目,包括GAN 生成动漫头像、AI滤镜、AI 写诗等。本书没有简单机械地介绍各个函数接口的使用,而是尝试分门别类、循序渐进地向读者介绍PyTorc[...]

撰写于    浏览:1014 次  分类: PyTorch 教程
1、封面介绍2、出版时间2017年1月3、推荐理由比尔·盖茨年度荐书!《终极算法》近20年人工智能领域具轰动性的著作!揭秘机器学习的终极逻辑,全景勾勒人工智能的商业未来。《乔布斯传》作者沃尔特·艾萨克森、图灵奖得主朱迪亚·珀尔、中国大数据领航人车品觉、今日头条首席算法架构师曹欢欢 倾力推荐!  Google、微软研究院 密切关注!  如果你先想了解[...]

撰写于    浏览:754 次  分类: PyTorch 教程
Transformer模型简介《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型,叫 Transformer,抛弃了以往深度学习任务里面使用到的CNN和RNN,这个模型广泛应用于NLP领域,例如机器翻译,问答系统,文本摘要和语音识别等等方向。Trans[...]

撰写于    浏览:1120 次  分类: PyTorch 教程
lr_scheduler 简介torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率(learning rate)的方法。一般情况下我们会设置随着epoch的增大而逐渐减小学习率从而达到更好的训练效果。为什么需要调整学习率在深度学习训练过程中,最重要的参数就是学习率,通常来说,在整个训练过层中,学习率不会一[...]

撰写于    浏览:1405 次  分类: PyTorch 教程
1、什么是学习率?学习率是指导我们在梯度下降法中,如何使用损失函数的梯度调整网络权重的超参数。其数学表达式如下所:new_weight = old_weight - learning_rate * gradient2、学习率的数学本质如上述公式,我们可以看到,学习率类似于微积分中的dx,所以学习率也被称为步长。3、学习率对损失值甚至深度网络的影响?[...]

撰写于    浏览:1028 次  分类: PyTorch 教程
AdaGrad算法是什么?AdaGrad算法就是将每一个参数的每一次迭代的梯度取平方累加后在开方,用全局学习率除以这个数,作为学习率的动态更新。梯度下降算法、随机梯度下降算法(SGD)、小批量梯度下降算法(mini-batch SGD)、动量法(momentum)、Nesterov动量法有一个共同的特点是:对于每一个参数都用相同的学习率进行更新。但[...]

撰写于    浏览:1047 次  分类: PyTorch 教程
AdaGrad是解决不同参数应该使用不同的更新速率的问题。Adagrad自适应地为各个参数分配不同学习率的算法。其公式如下:但是我们发现一个现象,本来应该是随着gradient的增大,我们的学习率是希望增大的,也就是图中的gt;但是与此同时随着gradient的增大,我们的分母是在逐渐增大,也就对整体学习率是减少的,这是为什么呢?这是因为随着我们更[...]

撰写于    浏览:865 次  分类: PyTorch 教程
Adam优化器是深度学习中最流行的优化器之一。它适用于很多种问题,包括带稀疏或带噪声梯度的模型。其易于精调的特性使得它能够快速获得很好的结果,实际上,默认的参数配置通常就能实现很好的效果。Adam 优化器结合了 AdaGrad 和 RMSProp 的优点。Adam 对每个参数使用相同的学习率,并随着学习的进行而独立地适应。此外,Adam 是基于动量[...]

撰写于    浏览:1071 次  分类: PyTorch 教程
1、GAN原理介绍生成式对抗网络(GAN, Generative Adversarial Networks )是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块:生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。GAN出自[...]

撰写于    浏览:3426 次  分类: PyTorch 教程
1、封面介绍2、出版时间2019年5月3、推荐理由《深度学习的数学》基于丰富的图示和具体示例,通俗易懂地介绍了深度学习相关的数学知识。第1章介绍神经网络的概况;第2章介绍理解神经网络所需的数学基础知识;第3章介绍神经网络的最优化;第4章介绍神经网络和误差反向传播法;第5章介绍深度学习和卷积神经网络。书中使用Excel进行理论验证,帮助读者直观地体验[...]