撰写于:  浏览:1319 次  分类:PyTorch 教程
在深度学习中,使用GPU来加速模型训练是非常重要的,因为GPU相比于CPU具有更强大的并行计算能力。PyTorch提供了简单易用的方法来在GPU上执行计算,本文将详细介绍如何在PyTorch中利用GPU加速模型训练。检测GPU是否可用在使用GPU加速前,我们首先需要检测系统中是否有可用的GPU设备。PyTorch提供了一个方便的方法来检测GPU是否[...]

撰写于:  浏览:1074 次  分类:PyTorch 教程
对于Variable的态度,PyTorch官方明确说明:deprecated已经被废弃。下面是PyTorch官方说明:The Variable API has been deprecated: Variables are no longer necessary to use autograd with tensors. Autograd autom[...]

撰写于:  浏览:1038 次  分类:PyTorch 教程
张量是PyTorch最基本的操作对象,英文名称为 Tensor,它表示的是一个多维的矩阵。比如零维是一个点,一维就是向量,二维就是一般的矩阵,多维就相当于一个多维的数组,这和numpy是对应的,而且 Pytorch 的 Tensor 可以和 numpy 的ndarray相互转换,唯一不同的是 Pytorch可以在GPU上运行,而numpy的 nda[...]

撰写于:  浏览:1802 次  分类:大模型电子书
1、封面介绍2、出版时间2024年7月3、内容介绍本书系统地介绍了高效模型压缩和模型设计的方法,在编写上兼顾理论和实践。本书主体部分详细介绍了模型压缩的方法论,包括高效模块设计、模型剪枝、模型量化、模型二值化、神经网络架构搜索、知识蒸馏几大部分。另外,简要介绍了定制化硬件加速器的设计及大语言模型的加速和压缩。4、推荐理由适读人群 :初学者,有一定科[...]

撰写于:  浏览:2682 次  分类:大模型电子书
1、封面介绍2、出版时间2024年6月3、内容介绍本书详尽地覆盖了多模态大模型的算法原理和应用实战,提供了丰富的微调技术细节和实际案例,适合对多模态大模型有兴趣的技术人员深入学习及应用。本书分为两篇:(1)算法原理篇。详细介绍了先进的深度学习模型,包括Transformer、GPT系列、深度生成模型,从基本架构、训练方法到特定应用,包括但不限于Se[...]

撰写于:  浏览:1389 次  分类:飞燕AI收徒
我发现很多新人使用conda安装程序,而且出现了很多问题,折腾的苦不堪言。conda的发音是:哭它,也就是说,谁用这玩意谁就被它折磨的哭鼻子。对于AI新手,我十分不建议使用conda,因为新手做的都是hello world这样低级别的demo,远远达不到接触复杂项目的地步。况且,使用conda之后,无端增加了学习成本,本来新手就是一张白纸,使用co[...]

撰写于:  浏览:1716 次  分类:大模型电子书
1、封面介绍2、出版时间2024年3月3、内容介绍本书用10章对大语言模型进行全面且深入的介绍。首先对大语言模型的基本概念进行介绍。其次,从大语言模型的基础技术、预训练数据构建、预训练技术等方面展开讨论,帮助读者深入了解大语言模型的构建和训练过程。然后,详细介绍有监督微调和强化对齐等技术,以及如何评估大语言模型的性能。此外,介绍提示工程和工程实践等[...]

撰写于:  浏览:1045 次  分类:大模型电子书
1、封面介绍2、出版时间2024年8月3、内容介绍《多模态人工智能:大模型核心原理与关键技术》是一本人工智能通识课程教材,它系统地介绍了多模态人工智能的基础理论、关键技术及应用场景,深入分析了多模态学习、多模态训练、多模态大模型、多模态理解、多模态检索、多模态生成、多模态推理、多模态交互、多模态模型安全与可信等核心技术,旨在为读者提供一个清晰、全面[...]

撰写于:  浏览:1448 次  分类:PyTorch 教程
在使用PyTorch进行深度学习开发时,很多开发者可能会遇到这样一个错误:TypeError:cannot assign torch.FloatTensor as parameter weight (torch.nn.Parameter or None expected)。这个错误通常发生在我们试图直接将一个普通张量赋值给模型参数的权重时。PyTo[...]

撰写于:  浏览:2767 次  分类:PyTorch 教程
在反向传播的训练中,经常碰到这样的错误提示:RuntimeError: grad can be implicitly created only for scalar outputs因为我们的输出不是标量,无法反向求导。PyTorch在求导的过程中,分为下面两种情况:(1)标量对向量求导(2)(向量)矩阵对(向量)矩阵求导当面对向量对向量求导的过程中[...]

撰写于:  浏览:1500 次  分类:PyTorch 教程
1、orthogonal简介torch.nn.utils.parametrizations.orthogonal模块是PyTorch库中的一个功能,用于对神经网络中的矩阵或一批矩阵应用正交或酉参数化。这种技术主要用于优化网络权重的表示,使其保持正交或酉性质,从而有助于提高网络的训练稳定性和性能。其用途主要有三种:(1)保持网络权重的正交性或酉性,以[...]

撰写于:  浏览:1041 次  分类:PyTorch 教程
梯度消失如果导数小于1,那么随着网络层数的增加,梯度更新信息会朝着指数衰减的方式减少这就是梯度消失。梯度消失时,越靠近输入层的参数越是几乎纹丝不动。梯度爆炸在反向传播过程中需要对激活函数进行求导,如果导数大于1,那么随着网络层数的增加,梯度更新将会朝着指数爆炸的方式增加。梯度爆炸时,越是靠近输入层的参数越是上蹿下跳。原因分析二者问题问题都是因为网络[...]

撰写于:  浏览:1969 次  分类:PyTorch 教程
在PyTorch中,F.linear()和nn.Linear()是两个常用的线性变换函数,它们都在神经网络的构建中扮演着重要角色。虽然这两个函数都实现了线性变换的功能,但在使用方法和应用场景上却有着显著的区别。本文将深入浅出地介绍这两个函数的用法和区别,帮助大家更好地理解和应用它们。F.linear() 的用法F.linear()是PyTorch中[...]

撰写于:  浏览:1178 次  分类:PyTorch 教程
torch.randperm 函数介绍在 PyTorch 中,torch.randperm(n) 函数用于生成一个从 0 到 n-1 的随机排列的整数序列。这个函数是非常有用的,尤其是在需要随机打乱数据或索引时,比如在训练机器学习模型时打乱数据顺序,以确保模型训练的泛化能力。参数n (int): 输出张量的长度,即最大的数字为 n-1。返回值返回一[...]

撰写于:  浏览:943 次  分类:PyTorch 教程
在做AI业务开发时候,常常需要pytorch的tensor类型和numpy类型进行转换,下面给大家介绍一下两者的转换过程:首先,导入需要使用的包:import numpy as np import torch然后,创建一个numpy类型的数组:x = np.ones(3) print(type(x))这里创建了一个一维的数组,3个都为1,我们打印一[...]

关注公众号,感悟技术与人生

飞燕网
一个踏实、严谨的网站!

专注于PyTorch、强化学习和大模型技术

    友情链接