当前位置：首页 > 元宇宙 > AI

英伟达TensorRT-LLM库登陆Windows PC，瞄准提高性能

来源：责编：时间：2023-10-18 17:59:39 289观看

导读10月18日消息，英伟达，硬件领域的人工智能巨头，迈向新的里程碑，推出了一项旨在提升大型语言模型(LLM)性能的软件工具，适用于本地Windows PC。英伟达的 GPU 在全球领先科技公司，如微软和OpenAI的数据中心中发挥重要作用，驱动着

10月18日消息，英伟达，硬件领域的人工智能巨头，迈向新的里程碑，推出了一项旨在提升大型语言模型(LLM)性能的软件工具，适用于本地Windows PC。英伟达的 GPU 在全球领先科技公司，如微软和OpenAI的数据中心中发挥重要作用，驱动着BingChat、ChatGPT等人工智能服务。TensorRT-LLM库是英伟达最新的开源工具，原本是为数据中心开发的，现在已经扩展到WindowsPC。最引人瞩目的特性之一是，如果Windows PC搭载英伟达GeForce RTXGPU，TensorRT-LLM能够将LLM在该平台上的运行速度提升至原有速度的四倍。

据ITBEAR科技资讯了解，英伟达在博客文章中详细介绍了TensorRT-LLM对开发者和终端用户的潜在益处。在更大的批量大小下，TensorRT-LLM的加速效果显著，尤其在处理更复杂的LLM任务，如写作和编码助手时，能够同时输出多个独特的自动完成结果，从而提高性能和结果质量，让用户可以有更多智能的选择。

文章中还举例展示了TensorRT-LLM的运作方式。当提问“《心灵杀手2》集成了NVIDIA的哪些技术?”时，传统LLM只能给出“游戏尚未公布”的无帮助回答。然而，使用TensorRT-LLM结合RAG模型，将GeForce新闻添加到向量库中并连接到相同的Llama2模型，不仅能提供正确答案，包括NVIDIADLSS 3.5、NVIDIAReflex和全景光线追踪等技术，而且在TensorRT-LLM的加速下，响应速度更加迅猛，为用户提供更加智能的解决方案。

TensorRT-LLM预计将很快在英伟达的开发者网站上提供，这将为广大开发者提供更强大的工具和资源，以更好地利用英伟达的GPU性能。

此外，英伟达还在最新的GeForce驱动更新中加入了一些基于人工智能的功能。其中包括全新的RTX Video SuperResolution功能的1.5版本，能够在观看在线视频时提供更高的分辨率增强效果，减少了压缩效果。此外，英伟达还为拥有GeForce RTXGPU的用户增加了TensorRT人工智能加速功能，进一步提升了从人工智能图片生成器获取图像的速度。这一系列的更新将进一步提高用户体验，使其受益于英伟达强大的硬件和软件创新。

标签：英伟达

免责声明：本网信息来自于互联网，目的在于传递更多信息，并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。

举报 0收藏 0打赏 0评论 0

更多>同类资讯

微软研究团队发布GPT-4研究报告：揭示“越狱”漏洞

10月18日消息，微软旗下的研究团队最近发表了一份关于大型语言模型(LLM)的研究论文，重点关注了OpenAI的GPT-4以及其前身GPT-3.5的“可信度”和潜在的问题。研究团队指出，尽管在标准基准测试中，GPT-4相较于GPT-3.5表现更加可靠，但它容易受到“越狱

10-18

微软推出AI工具Azure AI Content Safety，致力于打造健康的社交媒体环境

10月18日消息，微软公司为维护社交媒体和数字平台上的健康和和谐社区环境，减少包括偏见、仇恨和暴力内容在内的不良素材，于今年5月开始测试其AI内容审核工具Azure AI Content Safety。今天，这一工具经过多月的测试正式发布。据ITBEAR科技资讯了解，

10-18

人工智能领域融资价值飙升27%：第三季度财经亮点

10月18日消息，最新数据显示，第三季度全球人工智能公司的融资价值同比增长27%，达到179亿美元，成为风险投资领域的耀眼明星。与此同时，全球初创企业的交易总额下降了31%，仅为730亿美元，凸显出人工智能初创公司与其他行业企业之间的差异。这一迅猛

10-18

小度添添家庭机器人隆重亮相：AI技术全面融入文心一言大模型

10月17日消息，百度世界大会今日在盛大举行，百度集团副总裁兼小度科技CEO李莹宣布了一系列创新产品的正式发布，其中包括小度添添家庭机器人、青禾学习一体机以及两款Tiantian Casa智能音箱。小度添添家庭机器人，被誉为全球首款大模型家庭智能机器人

10-17

李彦宏盛赞百度文心 4.0：媲美GPT-4综合能力

10月17日消息，百度创始人、董事长兼首席执行官李彦宏在百度世界 2023 上宣布文心大模型 4.0 正式发布，开启邀请测试。这一最新版本的文心大模型被李彦宏誉为“至今最强大的”，实现了全面升级，涵盖了理解、生成、逻辑和记忆能力等各方面，达到了令

10-17

国内首个生成式商业智能产品百度 GBI 革新发布

10月17日消息，今日在百度世界 2023 大会上，百度创始人、董事长兼首席执行官李彦宏宣布推出中国首个生成式商业智能产品——百度 GBI。据了解，百度 GBI 集成了自然语言交互、跨数据库分析和专业知识学习三大核心功能，将传统商业分析师需要数天才能

10-17

华为申请“Huawei eKitChat”商标，或拟推出AI聊天助手产品

10月16日消息，华为技术有限公司最近提交了一项商标注册申请，名为“Huawei eKitChat”，在国际分类中包括科学仪器和网站服务。目前，该商标正等待实质审查。根据查询结果，华为的“Huawei eKit”是华为今年5月推出的“华为坤灵”子品牌的英文名称。

10-16

OpenAI调整核心价值观：聚焦AGI成为首要使命

10月16日消息，近日，OpenAI悄然更新了其“核心价值观”，将人工智能(AI)领域的通用人工智能(AGI)正式列为其中之一，并将其排在首位，凸显了对AGI的强烈追求。据ITBEAR科技资讯了解，OpenAI曾在2022年9月25日的媒体截图中公布了六个核心价值观供其员

10-16

俄版 ChatGPT" YandexGPT 2：考试分数引发热议

10月16日消息，YandexGPT 2，被誉为“俄版 ChatGPT”的聊天机器人，日前宣布已获得了足够进入大学的考试分数。据报道，该机器人在俄罗斯国家统一考试的文学科目中表现出色，获得了55分的加权分数，接近2022年俄罗斯考生的平均成绩(63分)，远高于当地

10-16

研究揭示：AI“推理环节”电力需求高于预期

10月14日消息，《Cell》的姐妹期刊《Joule》本周刊登了一项名为《持续成长的人工智慧能源足迹(The growing energy footprint of artificial intelligence)》的研究论文，该论文由科研机构Digiconomist的创始人Alex De Vries发表。这篇论文指出，未来

10-14

韩国人工智能产业：在全球“两强竞赛”中位列第六

10月13日消息，近日，韩国工业联合会(FKI)发布了最新全球人工智能指数，对全球各国的人工智能产业水平进行了全面比较。结果显示，美国和中国在人工智能领域依然处于主导地位，形成了一场激烈的“两强竞赛”。在这一指数中，美国稳居榜首，不仅在综合

10-13

Adobe 领导推出全新LOGO标识，助力人工智能内容辨识

10月13日消息，Adobe 公司正领导一项全新的举措，推出了一款用于识别人工智能工具创建或编辑的图像和内容的全新LOGO。此举得到了包括BBC、Microsoft、Nikon和Truepic在内的多家合作伙伴的积极支持。据ITBEAR科技资讯了解，Adobe公司的这一解决方案名

10-13

Copilot AI编程助手实际成本低于售价，微软前CEO揭幕内幕

10月13日消息，微软前高管、GitHub前首席执行官Nat Friedman于昨日在X平台上发表言辞坚决的回应，驳斥了有关微软GitHub Copilot服务亏损的传闻。据Friedman表示，这一消息纯属虚假。针对有关GitHub Copilot亏损情况的疑虑，Friedman在评论区回复了一

10-13

科技巨头集体行动：微软、Adobe和谷歌支持生成式人工智能创作者

10月13日消息，谷歌宣布，对于谷歌云(Google Cloud)和谷歌办公套件(Workspace)中的生成式人工智能系统用户，如果他们因侵犯知识产权而受到指控，谷歌将提供法律辩护支持。这一决定是为了解决生成式人工智能技术在知识产权领域引发的争议。此前，微软

10-13

OpenAI年收入飙升至13亿美元，月均过亿美元

10月13日消息，据知情人士透露，OpenAI首席执行官山姆·阿尔特曼本周向员工宣布，公司的年化收入已达到13亿美元，较夏季时增长了30%。这一数据意味着OpenAI目前每月的收入已超过1亿美元。与2022年仅获得2800万美元的总收入相比，OpenAI的增长可谓惊人

10-13

女孩子送父母礼物送什么
女孩子送哥哥送什么礼物
女孩子送女生礼物送什么
女孩子送男孩礼物送什么
女孩子送外卖送什么礼物
女孩子送手工礼物送什么
女海王送生日礼物送什么
女孩租房送什么礼物
女海员送什么礼物
女护士送什么礼物
女好友送什么礼物
女会计送什么礼物
女监理送什么礼物
女嘉宾送什么礼物
女交警送什么礼物
女教师送什么礼物
女教师礼物送什么
女节送妈妈礼物该送什么
女教授送什么礼物
女解说送什么礼物

点击查看更多 +

全站最新

北汽新能源与宁德时代达成合作，神行超充电池将助力极狐汽车

2024款奥迪A4L全新亮相，四款车型齐发，售价32.18-40.08万元

Tim Cook空降成都太古里，观战王者荣耀赛事

OPPO Find N3全球发布：四款迷人配色露真容

微软研究团队发布GPT-4研究报告：揭示“越狱”漏洞

移动端谷歌 Chrome 现支持网址拼写错误检查

热门内容

OpenAI聊天机器人ChatGPT引入语音功能，挑战智能语音助手巨头
华为发布 Atlas 900 SuperCluster：支持超万亿参数的大模型训练
Meta与微软合作：Bing搜索引擎融入Meta AI，提供实时信息
微软宣布11月1日推出Microsoft 365 Copilot，助力企业客户
微软公布全新TTS语音模型，实现自然语音交互
2000亿参数！“鹏城・脑海”助力国产AI算力平台实现突破
Spotify与OpenAI合作推出语音翻译功能，改变播客行业格局
佳能推出神经网络工具软件，助力摄影师提升照片品质
微软Edge浏览器添新功能：Adobe Express、MathSolver和Spotify插件亮相
微软必应聊天（Bing Chat）发布全新功能“nosearch”，智能搜索即将来临
Copilot Chat：微软GitHub AI助手全面支持个人用户
BBC发布新原则：推动人工智能在新闻领域的应用
360公司推出全新生态系统：智脑大模型全面开放使用
OpenAI宣布ChatGPT具备浏览互联网能力，开启新时代
中国电信推出"启明"网络大模型，积极拓展MaaS服务领域

本栏最新

微软研究团队发布GPT-4研究报告：揭示“越狱”漏洞

英伟达TensorRT-LLM库登陆Windows PC，瞄准提高性能

微软推出AI工具Azure AI Content Safety，致力于打造健康的社交媒体环境

人工智能领域融资价值飙升27%：第三季度财经亮点

小度添添家庭机器人隆重亮相：AI技术全面融入文心一言大模型

李彦宏盛赞百度文心 4.0：媲美GPT-4综合能力

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-2215-0.html英伟达TensorRT-LLM库登陆Windows PC，瞄准提高性能

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：英伟达TensorRT-LLM库登陆Windows PC，瞄准提高性能

下一篇：微软推出AI工具Azure AI Content Safety，致力于打造健康的社交媒体环境

标签：

热门焦点

上海虹口成立10亿元元宇宙基金，香港首只元宇宙ETF拟上市

区块链日报17日讯今日《元宇宙新鲜事》有：上海虹口将成立总额约10亿元的元宇宙产业基金；香港市场首只元宇宙主题ETF拟于2月21日上市；元宇宙平台Roblox出现违禁游
虚拟数字人：元宇宙的主角破圈而来

虚拟数字人市场逐步进入成熟期，商业化进程加速。1982年世界第一位虚拟歌姬林明美诞生，虚拟数字人行业经历了萌芽、探索、初级和成长四个阶段。随技术逐年突破，制
「国产良心」NFT嘲讽了谁？

2月23日，一个名为「国产良心」的NFT项目被许多活跃的加密用户注意到。该项目的官网风格尤为「不正经」，它丝毫没有避讳自己的小作坊出身，还将「中国人不骗中国人
与元宇宙美少女艺术家的对话

我最近宣布了我自己的NFT项目，这是我已经工作了几个月的事情。由于我之前只是一个收藏家，拥有自己的项目真的给了我一个新的视角来看待这个领域。我一直欢迎人们
NFT自动售货机来啦！

“纽约市有一台售卖 Solana NFT 的自动售货机，用信用卡就能买”Solana NFT 市场 Neon 可让您使用信用卡亲自购买 NFT，无需使用加密货币。由于基于 Solana 链的 N
独立故事片“Calladita”将使用 NFT 筹集资金

导演 Miguel Faus 正在转向加密来资助他的处女作，由 Paula Grimaldo 和 Emily Mortimer 主演。“Calladita”（导演 Miguel Faus）。图片：米格尔·福斯在过去的一年
大厂打造元宇宙平台的业务重心是什么？

知名市场研究机构IDC发布《2022年中国元宇宙市场十大预测》报告，其中提出互联网大厂各自独立布局元宇宙平台。事实上，在2021年的最后一个季度，包括Meta、英伟达、
元宇宙的应用行业研究：娱乐可能是元宇宙落地最快的场景之一

近日，毕马威正式发布其《初探元宇宙》报告，这也是毕马威在元宇宙领域发布的首份报告。报告指出，元宇宙在以下十个领域的应用场景尤其值得期待，包括娱乐、社交、零
76亿美金估值、2022年最具创新力公司，Dapper Labs如何做到？

“元宇宙的开拓者”是我们针对元宇宙的发展而设立的专栏，主要面向那些深挖元宇宙产业或者在元宇宙进行“淘金”的从业者，分享这些企业或者创业者们的故事，以独特