当前位置：首页 > 科技 > 软件

Node.js 结合 AI 轻松总结音视频内容

来源：责编：时间：2024-06-17 17:40:59 89观看

导读大模型预言（LLM）可以帮我们做很多事情，有很多有趣的玩法值得探索。本期笔者将带领大家使用 Node.js + AssemblyAI + ChatGPT 总结视频内容。步骤 1 - 转录音视频为文本AssemblyAI 是一家专注于语音 AI 模型的公司，用于识

大模型预言（LLM）可以帮我们做很多事情，有很多有趣的玩法值得探索。本期笔者将带领大家使用 Node.js + AssemblyAI + ChatGPT 总结视频内容。

步骤 1 - 转录音视频为文本

AssemblyAI 是一家专注于语音 AI 模型的公司，用于识别、理解和处理人类语音服务。2023 年第还融到了 5000 万美元，将重点打造超人语音 AI 模型。

它们提供了 Node.js 版本的 SDK assemblyai，使用 TS 编写的，用于与 AssemblyAI API 交互，使用起来超级简单，该 API 支持异步和实时转录以及最新的 LeMUR 模型。下图为 NPM 中的截图，可看到周下载量在逐渐上升。

图片

安装 Node.js、创建一个项目并安装 assemblyai 依赖

mkdir ai-video-summarizationcd ai-video-summarizationnpm init -ynpm i assemblyai -S

我们将使用 ES Modules 语法而不是 CommonJS，注意 package.json 中的 type 应设为 module。

// package.json{  ...  "type": "module",  ...}

因为需要调用大模型 API 接口，需要提前在 https://www.assemblyai.com/app/account 页面中准备好 API Key 信息，提供了免费使用额度。

图片

使用方法很简单，可以传输本地的视频，也可以指定远程 URL 地址。

import { AssemblyAI } from 'assemblyai'import fsPromises from 'fs/promises'const client = new AssemblyAI({  apiKey: process.env.ASSEMBLYAI_API_KEY,})const run = async () => {  try {    const config = {      audio: await fsPromises.readFile('/*这里替换为你的视频地址*/videos/ai-ipad.mp4'),      // audio_url: 'https://storage.googleapis.com/aai-web-samples/5_common_sports_injuries.mp3'      // language_code: 'zh',    }    const transcript = await client.transcripts.transcribe(config)    console.log(transcript.text)  } catch (err) {    console.error('error ', err)  }}run()

示例中用的这个视频为 “AI 加持的 iPad，通过手写数学表达式即可解出答案”

运行 ASSEMBLYAI_API_KEY="你的 API Key 信息" node script.js 命令，生成的文本信息如下所示，准确性还可以，因为这个视频相对短些，长一点的还没有试过！

图片

生成文本信息时是支持多语言翻译的，有个 language_code 参数设置为 'zh' 即可，但是返回的结果看起来为繁体。

图片

第一步提取视频中的文本信息到这里就完成了。

步骤 2 - 总结视频内容

第二步为总结提出的文本信息。一种方法是使用 AssemblyAI 提供的 LeMUR（LLM 提示音视频框架）自动对其进行总结。

以下是 copy 的官方文档的一个 Demo，你可以告诉 LeMUR 你期望的格式是什么，还有一些上下文信息。

const { response } = await client.lemur.task({  transcript_ids: [transcript.id],  prompt: `Summarize the episode using the following format:  **<topic header>**  <topic summary>  `,  context: "An episode of the Lex Fridman podcast, in which he speaks with Guido van Rossum, the creator of the Python programming language"});console.log("LeMUR response", response);

但是这个 API 是收费的，没有提供免费的尝试额度。

ChatGPT 的 GPT4o 模型现在也很好用啊，并且还是免费的，如果想做一些总结了，可以借助 ChatGPT 在做一个总结。如下所示：

第一次总结：

图片

第二次更简短的总结：

图片

关于 AssemblyAI 的更多用法可参考 API 文档 https://www.assemblyai.com/docs，欢迎关注编程界，探索更多 AI 使用技巧！

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-26-94299-0.htmlNode.js 结合 AI 轻松总结音视频内容

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：停止使用花哨技巧编写“优雅”代码！

下一篇：大模型系列：提示词管理

标签：

热门焦点

摸鱼心法第一章——和配置文件说拜拜

为了能摸鱼我们团队做了容器化，但是带来的问题是服务配置文件很麻烦，然后大家在群里进行了“亲切友好”的沟通图片图片图片图片对比就对比，简单对比下独立配置中心和k8s作为配
十个简单但很有用的Python装饰器

装饰器（Decorators）是Python中一种强大而灵活的功能，用于修改或增强函数或类的行为。装饰器本质上是一个函数，它接受另一个函数或类作为参数，并返回一个新的函数或类。它们通常用
虚拟键盘 API 的妙用

你是否在遇到过这样的问题：移动设备上有一个固定元素，当激活虚拟键盘时，该元素被隐藏在了键盘下方？多年来，这一直是 Web 上的默认行为，在本文中，我们将探讨这个问题、为什么会发生
零售大模型“干中学”，攀爬数字化珠峰

文/侯煜编辑/cc来源/华尔街科技眼对于绝大多数登山爱好者而言，攀爬珠穆朗玛峰可谓终极目标。攀登珠峰的商业路线有两条，一是尼泊尔境内的南坡路线，一是中国境内的北坡路线。相
2天涨粉255万，又一赛道在抖音爆火

来源：运营研究社作者 | 张知白编辑 | 杨佩汶设计 | 晏谈梦洁这个暑期，旅游赛道彻底火了：有的「地方」火了——贵州村超旅游收入 1 个月超过 12 亿；有的「博主」火了&m
新电商三兄弟，“抖快红”成团！

来源：价值研究所作者：Hernanderz 随着内容电商的概念兴起，抖音、快手、小红书组成的“新电商三兄弟”成为业内一股不可忽视的势力，给阿里、京东、拼多多带去了巨大压
年轻人的“职场羞耻感”，无处不在

作者：冯晓亭陶淘李欣张琳马舒叶来源：燃次元“人在职场，应该选择什么样的着装？”近日，在网络上，一个与着装相关的帖子引发关注，在该帖子里，一位在高级写字楼亚洲金
微博大门常打开，迎接海外画师漂洋东渡

作者:互联网那些事“起猛了，我能看得懂日语了”。“为什么日本人说话我能听懂？”“中文不像中文，日语不像日语，但是我竟然看懂了”…&hell
DRAM存储器10月价格下跌，NAND闪存本月价格与上月持平

10月30日，据韩国媒体消息，自今年年初以来一直在上涨的 DRAM 存储器的交易价格仅在本月就下跌了近 10％，此次是全年首次降价，而NAND 闪存本月价格与上月持平。市