当前位置：首页 > 元宇宙 > AI

英伟达TensorRT-LLM库登陆Windows PC，瞄准提高性能

来源：责编：时间：2023-10-18 17:59:39 276观看

导读10月18日消息，英伟达，硬件领域的人工智能巨头，迈向新的里程碑，推出了一项旨在提升大型语言模型(LLM)性能的软件工具，适用于本地Windows PC。英伟达的 GPU 在全球领先科技公司，如微软和OpenAI的数据中心中发挥重要作用，驱动着

10月18日消息，英伟达，硬件领域的人工智能巨头，迈向新的里程碑，推出了一项旨在提升大型语言模型(LLM)性能的软件工具，适用于本地Windows PC。英伟达的 GPU 在全球领先科技公司，如微软和OpenAI的数据中心中发挥重要作用，驱动着BingChat、ChatGPT等人工智能服务。TensorRT-LLM库是英伟达最新的开源工具，原本是为数据中心开发的，现在已经扩展到WindowsPC。最引人瞩目的特性之一是，如果Windows PC搭载英伟达GeForce RTXGPU，TensorRT-LLM能够将LLM在该平台上的运行速度提升至原有速度的四倍。

据ITBEAR科技资讯了解，英伟达在博客文章中详细介绍了TensorRT-LLM对开发者和终端用户的潜在益处。在更大的批量大小下，TensorRT-LLM的加速效果显著，尤其在处理更复杂的LLM任务，如写作和编码助手时，能够同时输出多个独特的自动完成结果，从而提高性能和结果质量，让用户可以有更多智能的选择。

文章中还举例展示了TensorRT-LLM的运作方式。当提问“《心灵杀手2》集成了NVIDIA的哪些技术?”时，传统LLM只能给出“游戏尚未公布”的无帮助回答。然而，使用TensorRT-LLM结合RAG模型，将GeForce新闻添加到向量库中并连接到相同的Llama2模型，不仅能提供正确答案，包括NVIDIADLSS 3.5、NVIDIAReflex和全景光线追踪等技术，而且在TensorRT-LLM的加速下，响应速度更加迅猛，为用户提供更加智能的解决方案。

TensorRT-LLM预计将很快在英伟达的开发者网站上提供，这将为广大开发者提供更强大的工具和资源，以更好地利用英伟达的GPU性能。

此外，英伟达还在最新的GeForce驱动更新中加入了一些基于人工智能的功能。其中包括全新的RTX Video SuperResolution功能的1.5版本，能够在观看在线视频时提供更高的分辨率增强效果，减少了压缩效果。此外，英伟达还为拥有GeForce RTXGPU的用户增加了TensorRT人工智能加速功能，进一步提升了从人工智能图片生成器获取图像的速度。这一系列的更新将进一步提高用户体验，使其受益于英伟达强大的硬件和软件创新。

标签：英伟达

免责声明：本网信息来自于互联网，目的在于传递更多信息，并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。

举报 0收藏 0打赏 0评论 0

更多>同类资讯

微软研究团队发布GPT-4研究报告：揭示“越狱”漏洞

10月18日消息，微软旗下的研究团队最近发表了一份关于大型语言模型(LLM)的研究论文，重点关注了OpenAI的GPT-4以及其前身GPT-3.5的“可信度”和潜在的问题。研究团队指出，尽管在标准基准测试中，GPT-4相较于GPT-3.5表现更加可靠，但它容易受到“越狱

10-18

微软推出AI工具Azure AI Content Safety，致力于打造健康的社交媒体环境

10月18日消息，微软公司为维护社交媒体和数字平台上的健康和和谐社区环境，减少包括偏见、仇恨和暴力内容在内的不良素材，于今年5月开始测试其AI内容审核工具Azure AI Content Safety。今天，这一工具经过多月的测试正式发布。据ITBEAR科技资讯了解，

10-18

人工智能领域融资价值飙升27%：第三季度财经亮点

10月18日消息，最新数据显示，第三季度全球人工智能公司的融资价值同比增长27%，达到179亿美元，成为风险投资领域的耀眼明星。与此同时，全球初创企业的交易总额下降了31%，仅为730亿美元，凸显出人工智能初创公司与其他行业企业之间的差异。这一迅猛

10-18

小度添添家庭机器人隆重亮相：AI技术全面融入文心一言大模型

10月17日消息，百度世界大会今日在盛大举行，百度集团副总裁兼小度科技CEO李莹宣布了一系列创新产品的正式发布，其中包括小度添添家庭机器人、青禾学习一体机以及两款Tiantian Casa智能音箱。小度添添家庭机器人，被誉为全球首款大模型家庭智能机器人

10-17

李彦宏盛赞百度文心 4.0：媲美GPT-4综合能力

10月17日消息，百度创始人、董事长兼首席执行官李彦宏在百度世界 2023 上宣布文心大模型 4.0 正式发布，开启邀请测试。这一最新版本的文心大模型被李彦宏誉为“至今最强大的”，实现了全面升级，涵盖了理解、生成、逻辑和记忆能力等各方面，达到了令

10-17

国内首个生成式商业智能产品百度 GBI 革新发布

10月17日消息，今日在百度世界 2023 大会上，百度创始人、董事长兼首席执行官李彦宏宣布推出中国首个生成式商业智能产品——百度 GBI。据了解，百度 GBI 集成了自然语言交互、跨数据库分析和专业知识学习三大核心功能，将传统商业分析师需要数天才能

10-17

华为申请“Huawei eKitChat”商标，或拟推出AI聊天助手产品

10月16日消息，华为技术有限公司最近提交了一项商标注册申请，名为“Huawei eKitChat”，在国际分类中包括科学仪器和网站服务。目前，该商标正等待实质审查。根据查询结果，华为的“Huawei eKit”是华为今年5月推出的“华为坤灵”子品牌的英文名称。

10-16

OpenAI调整核心价值观：聚焦AGI成为首要使命

10月16日消息，近日，OpenAI悄然更新了其“核心价值观”，将人工智能(AI)领域的通用人工智能(AGI)正式列为其中之一，并将其排在首位，凸显了对AGI的强烈追求。据ITBEAR科技资讯了解，OpenAI曾在2022年9月25日的媒体截图中公布了六个核心价值观供其员

10-16

俄版 ChatGPT" YandexGPT 2：考试分数引发热议

10月16日消息，YandexGPT 2，被誉为“俄版 ChatGPT”的聊天机器人，日前宣布已获得了足够进入大学的考试分数。据报道，该机器人在俄罗斯国家统一考试的文学科目中表现出色，获得了55分的加权分数，接近2022年俄罗斯考生的平均成绩(63分)，远高于当地

10-16

研究揭示：AI“推理环节”电力需求高于预期

10月14日消息，《Cell》的姐妹期刊《Joule》本周刊登了一项名为《持续成长的人工智慧能源足迹(The growing energy footprint of artificial intelligence)》的研究论文，该论文由科研机构Digiconomist的创始人Alex De Vries发表。这篇论文指出，未来

10-14

韩国人工智能产业：在全球“两强竞赛”中位列第六

10月13日消息，近日，韩国工业联合会(FKI)发布了最新全球人工智能指数，对全球各国的人工智能产业水平进行了全面比较。结果显示，美国和中国在人工智能领域依然处于主导地位，形成了一场激烈的“两强竞赛”。在这一指数中，美国稳居榜首，不仅在综合

10-13

Adobe 领导推出全新LOGO标识，助力人工智能内容辨识

10月13日消息，Adobe 公司正领导一项全新的举措，推出了一款用于识别人工智能工具创建或编辑的图像和内容的全新LOGO。此举得到了包括BBC、Microsoft、Nikon和Truepic在内的多家合作伙伴的积极支持。据ITBEAR科技资讯了解，Adobe公司的这一解决方案名

10-13

Copilot AI编程助手实际成本低于售价，微软前CEO揭幕内幕

10月13日消息，微软前高管、GitHub前首席执行官Nat Friedman于昨日在X平台上发表言辞坚决的回应，驳斥了有关微软GitHub Copilot服务亏损的传闻。据Friedman表示，这一消息纯属虚假。针对有关GitHub Copilot亏损情况的疑虑，Friedman在评论区回复了一

10-13

科技巨头集体行动：微软、Adobe和谷歌支持生成式人工智能创作者

10月13日消息，谷歌宣布，对于谷歌云(Google Cloud)和谷歌办公套件(Workspace)中的生成式人工智能系统用户，如果他们因侵犯知识产权而受到指控，谷歌将提供法律辩护支持。这一决定是为了解决生成式人工智能技术在知识产权领域引发的争议。此前，微软

10-13

OpenAI年收入飙升至13亿美元，月均过亿美元

10月13日消息，据知情人士透露，OpenAI首席执行官山姆·阿尔特曼本周向员工宣布，公司的年化收入已达到13亿美元，较夏季时增长了30%。这一数据意味着OpenAI目前每月的收入已超过1亿美元。与2022年仅获得2800万美元的总收入相比，OpenAI的增长可谓惊人

10-13

女孩子送父母礼物送什么
女孩子送哥哥送什么礼物
女孩子送女生礼物送什么
女孩子送男孩礼物送什么
女孩子送外卖送什么礼物
女孩子送手工礼物送什么
女海王送生日礼物送什么
女孩租房送什么礼物
女海员送什么礼物
女护士送什么礼物
女好友送什么礼物
女会计送什么礼物
女监理送什么礼物
女嘉宾送什么礼物
女交警送什么礼物
女教师送什么礼物
女教师礼物送什么
女节送妈妈礼物该送什么
女教授送什么礼物
女解说送什么礼物

点击查看更多 +

全站最新

北汽新能源与宁德时代达成合作，神行超充电池将助力极狐汽车

2024款奥迪A4L全新亮相，四款车型齐发，售价32.18-40.08万元

Tim Cook空降成都太古里，观战王者荣耀赛事

OPPO Find N3全球发布：四款迷人配色露真容

微软研究团队发布GPT-4研究报告：揭示“越狱”漏洞

移动端谷歌 Chrome 现支持网址拼写错误检查

热门内容

OpenAI聊天机器人ChatGPT引入语音功能，挑战智能语音助手巨头
华为发布 Atlas 900 SuperCluster：支持超万亿参数的大模型训练
Meta与微软合作：Bing搜索引擎融入Meta AI，提供实时信息
微软宣布11月1日推出Microsoft 365 Copilot，助力企业客户
微软公布全新TTS语音模型，实现自然语音交互
2000亿参数！“鹏城・脑海”助力国产AI算力平台实现突破
Spotify与OpenAI合作推出语音翻译功能，改变播客行业格局
佳能推出神经网络工具软件，助力摄影师提升照片品质
微软Edge浏览器添新功能：Adobe Express、MathSolver和Spotify插件亮相
微软必应聊天（Bing Chat）发布全新功能“nosearch”，智能搜索即将来临
Copilot Chat：微软GitHub AI助手全面支持个人用户
BBC发布新原则：推动人工智能在新闻领域的应用
360公司推出全新生态系统：智脑大模型全面开放使用
OpenAI宣布ChatGPT具备浏览互联网能力，开启新时代
中国电信推出"启明"网络大模型，积极拓展MaaS服务领域

本栏最新

微软研究团队发布GPT-4研究报告：揭示“越狱”漏洞

英伟达TensorRT-LLM库登陆Windows PC，瞄准提高性能

微软推出AI工具Azure AI Content Safety，致力于打造健康的社交媒体环境

人工智能领域融资价值飙升27%：第三季度财经亮点

小度添添家庭机器人隆重亮相：AI技术全面融入文心一言大模型

李彦宏盛赞百度文心 4.0：媲美GPT-4综合能力

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-2214-0.html英伟达TensorRT-LLM库登陆Windows PC，瞄准提高性能

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：微软研究团队发布GPT-4研究报告：揭示“越狱”漏洞

下一篇：英伟达TensorRT-LLM库登陆Windows PC，瞄准提高性能

标签：

热门焦点

雷克萨斯高管，“受贿”5000万？

来源：毒舌科技作者：潘磊雷克萨斯的高管，好像出事了。五六家日本小媒体，突然曝出了一个与中国市场有关的大新闻——雷克萨斯中国区一个高管受贿10亿日元（约合人民币5000
文心一言排名垫底，却成为百度业绩增长杠杆

文/侯煜编辑/罗卿知识增强大预言模式文心一言发布后，百度公司热度大幅提升，文心一言到底能为百度的业绩带来多大的增益成为业内关注焦点。近日，百度（NASDAQ：BIDU/09888.HK）公布了
汽车元宇宙，是概念还是未来？

作者｜何文元宇宙是未来趋势已经无需验证。从概念上来看，元宇宙是两种存在多年的概念的融合：虚拟现实和数字第二人生。这也就意味着，元宇宙所代表的是一种新的数
刷完一场元宇宙世界杯音乐盛典，我爽了

作者|刘小土编辑|李春晖你有多久没完整追过一场音乐盛典了？三刷都不嫌多的那种。按照惯例，每逢年底，直播、长短视频、音乐平台便会抢着端上来几场音乐盛典。搁以
“任何国产元宇宙都是假元宇宙”

上个月，华语乐坛的优质偶像之一，DOTA2资深玩家林俊杰，在国外元宇宙产品分布式大陆(Decentraland)上买了三块虚拟地产，花了12.3万美元（也就是人民币接近80万）。截至目
现在的元宇宙：一款低配版的科幻游戏

在2021年的岁末之际，不禁感叹元宇宙元年之热闹，从元宇宙NFT头像，到元宇宙数字地产，再到元宇宙旅游景区等等，仿佛科幻感十足的元宇宙眨眼间就从人们的概念认知中完全
国内涌现70余家数字藏品平台：合规、流量与利润在博弈

作者：杨郑君2月16日，迅雷链企业数字藏品服务平台正式上线，继阿里、腾讯、京东、百度、网易等之后，又一家互联网企业正式加入到火热的数字藏品平台的竞争中。除互联
摩根大通：元宇宙市场预计每年收入超1万亿美元

今日《元宇宙新鲜事》有：香港首届元宇宙艺博会将于5月举办；NH-Amundi Asset Management上市其第二支元宇宙ETF；Meta虚拟现实平台Horizon Worlds月活跃用户在三个
以太坊面临来自Fantom的巨大挑战

众所周知，区块链和加密货币项目经常因其对环境的影响而受到批评。但是有一个非营利性的加密货币和区块链项目说它比其他的更环保。今天老雅痞就给大家聊一聊加