大模型在无损压缩方面超越 PNG 和 FLAC

Google DeepMind 和 Meta 的研究人员发表论文《Language Modeling Is Compression》，他们发现 DeepMind 的大语言模型 Chinchilla 70B 在图像和音频的无损压缩上超过了 PNG 和 FLAC。rV728资讯网——每日最新资讯28at.com

论文提到，Chinchilla 70B 能将 ImageNet 图像数据库中的图像无损压缩到原始大小 43.4%，超过了 PNG 算法的 58.5%。rV728资讯网——每日最新资讯28at.com

Chinchilla 能将 LibriSpeech 音频数据集中的样本无损压缩到原始大小 16.4%，超过 FLAC 算法的 30.3%。rV728资讯网——每日最新资讯28at.com

rV728资讯网——每日最新资讯28at.com

据介绍，Chinchilla 70B 主要是训练用于处理文本，但它在压缩其它类型的数据集上的效果也表现优异，甚至优于专门的算法。rV728资讯网——每日最新资讯28at.com

下面的例子比较了 gzip 和 Chinchilla 在示例文本上的生成效果。可以看到，gzip 的输出没有可读性。rV728资讯网——每日最新资讯28at.com

rV728资讯网——每日最新资讯28at.com

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-26-12703-0.html大模型在无损压缩方面超越 PNG 和 FLAC

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 面试中如何答好：AQS

下一篇： 越来越多开源项目停更，Java 生态受影响最大