百度 2008年4月任江苏省委副书记、组织部部长。
已启用 Arc 的 Azure AI 视频索引器 是一项已启用 Azure Arc 扩展的服务，可在边缘设备上运行视频和音频分析和 生成 AI 。 该解决方案在 已启用 Azure Arc 的 Kubernetes 上运行，支持许多视频格式，并假定一个视频索引器资源映射到一个扩展。 它用超过 35 种源语言转录口述内容，并将其翻译成英语。 有关支持语言的完整列表，请参阅 每个方案支持的语言。
如果不熟悉 Azure AI 视频索引器，建议先熟悉云服务。
此外，在开始使用 Arc 启用的 Azure AI 视频索引器之前，请查看 透明度说明 以了解使用限制。
重要
若要成功部署 Azure AI 视频索引器扩展， 必须 提前批准 Azure 订阅 ID。 您必须先通过填写 限制访问服务申请表 来注册。
什么是 Azure Arc 和 Azure Arc 支持的 Kubernetes？
Azure Arc 通过提供一致的多云和本地管理平台，简化了跨数据中心、多个云和边缘扩展的复杂环境的治理和管理。
使用已启用 Azure Arc 的 Kubernetes，可以附加在任意位置运行的 Kubernetes 群集，以便可以在 Azure 中管理和配置它们。 通过在单个控制平面中管理所有 Kubernetes 资源，可以启用更一致的开发和作体验，在任意位置以及任何 Kubernetes 平台上运行云原生应用。
将 Azure Arc 代理部署到群集时，会启动到 Azure 的出站连接，使用行业标准 SSL 来保护传输中的数据。
群集连接到 Azure 后，它们将表示为 Azure 资源管理器 （ARM）中的自己的资源，并且可以使用资源组和标记来组织它们。
有关 Azure Arc 和 Arc-enabled Kubernetes 的详细信息，请参阅 Azure Arc 概述 和 什么是 Azure Arc-enabled Kubernetes？
什么是 Azure Arc 扩展？
虚拟机 (VM) 扩展是小型应用程序，可在 Azure VM 上提供部署后配置和自动化任务。 例如，如果虚拟机需要安装软件、进行防病毒保护或运行脚本，便可以使用 VM 扩展。 有关扩展的详细信息，请参阅 Azure Arc 启用服务器的虚拟机扩展管理。
Azure AI 视频索引器扩展将安装 Azure AI 视频索引器并将其部署到 Kubernetes 群集。
Arc 启用的 Azure AI 视频索引器仅支持 Azure 资源管理器帐户。 资源管理器操作与视频见解操作已解耦。 此设计允许在边缘设备上执行分析，而无需将媒体资产上传到 Azure。
仅在 直接连接模式 方案中支持该扩展。 虽然所有处理都在边缘环境中执行，但控制平面信息会发送到云以进行计费和监视。 从云下载新的扩展版本。 不会将任何客户数据（例如已编制索引的视频或索引见解）从边缘位置发送到云。
语言模型
包含 Phi 语言模型，并自动连接到 VI 扩展。 可以立即开始使用它。 有关将语言模型与 VI 配合使用的详细信息，请参阅：
另请参阅由 Arc 启用的 VI 实现的文本摘要生成的透明度说明，了解硬件要求、限制和已知问题。
用例
- 数据管理 – 可以将 AI 引入内容，而不是相反。 当由于以下原因，无法将索引内容从本地移动到云时，请使用 Arc 启用的 Azure AI 视频索引器：
- 法规。
- 体系结构决策。
- 数据存储过于庞大，极大增加了直接迁移的工作量。
- 本地工作流 – 索引过程是本地工作流的一部分，并且想要降低影响流的索引持续时间延迟。
- 预编制索引 – 在将内容上传到云之前，需要编制索引。 为了清楚起见，可以预分配本地视频或音频存档，然后仅将其上传到云中的标准索引或高级索引。
示例部署
下图显示了在 Azure Arc 上运行的 Azure AI 视频索引器扩展。有三种类型：
- 存储类型 A 同时使用视觉和音频预设。
- 存储类型 B 仅使用视觉预设。 它还具有自定义模型。 有关将自定义模型与已启用 Arc 的 Azure AI 视频索引器配合使用的详细信息，请参阅自带 AI 模型。
- 存储 C 仅使用音频预设。
该扩展存储在每个边缘设备上，每个设备都与单个 Azure AI 视频索引器帐户相关联，该帐户与 Azure Arc 和云相连接。
支持的 AI 预设
Arc 启用的 Azure AI 视频索引器支持以下索引预设：
| 型号 | 基本视频 | 基本音频 | 基本视频和音频 |
|---|---|---|---|
| 转录 | ? | ? | |
| 译本 | ? | ? | |
| 字幕 | ? | ? | |
| 关键帧检测 | ? | ? | |
| 对象检测 | ? | ? | |
| 场景检测 | ? | ? | |
| 镜头检测 | ? | ? | |
| 综述 | ? | ? | ? |
最低硬件要求
Arc 启用的视频索引器旨在在任何已启用 Arc 的 Kubernetes 环境中运行。
注意
下表介绍了 生产 环境的最低要求。 建议至少使用两节点群集实现高可用性和可伸缩性。 建议的设置是指群集范围的设置。 例如，如果有两个节点，每个节点应有 16 个核心和 32 GB RAM。 建议创建专用节点池或自动缩放组来托管 VI 解决方案。
| 配置 | 虚拟机数量 | 节点 CPU 核心计数 | 节点 RAM | 节点存储 | 注解 |
|---|---|---|---|---|---|
| 最小值 | 一种 | 32 个核心 | 64 GB | 50 GB | 存储需要支持 ReadWriteMany 存储类 |
| 建议 | 二级 | 48-64 个核心 | 256 GB | 100 GB | 存储需要支持 ReadWriteMany 存储类 |
最低软件要求
| 组件 | 最低要求 |
|---|---|
| 操作系统 | Ubuntu 22.04 LTS 或任何 Linux 兼容 OS |
| Kubernetes | 1.29 |
| Azure CLI | 2.64.0 |
网络要求
使用以下信息配置防火墙设置。
防火墙要求
请遵循 Azure Arc 启用的 Kubernetes 网络要求的说明进行操作。
此外，添加 *.azureedge.net 和 *.data.microsoft.com。
对于由 Arc 扩展启用的视频索引器，请添加这些终结点：
| 端点 (DNS) | DESCRIPTION |
|---|---|
| linuxgeneva-microsoft.azurecr.io、*.blob.core.windows.net | 用于遥测容器的容器注册表 |
| *.monitoring.core.windows.net、*.microsoftmetrics.com、*.table.core.windows.net | 用于遥测 |
| api.videoindexer.ai | 用于访问令牌验证 |
所需终结点和端口的摘要
启用以下终结点和端口。
Azure Arc 服务 （HTTPS）
- management.azure.com:443
- *.dp.kubernetesconfiguration.azure.com:443
- login.microsoftonline.com:443
- *.login.microsoft.com:443
- login.windows.net:443
- mcr.microsoft.com:443
- *.data.mcr.microsoft.com:443
- dl.k8s.io:443
- gbl.his.arc.azure.com:443
- *.his.arc.azure.com:443
- guestnotificationservice.azure.com:443
- *.guestnotificationservice.azure.com:443
- sts.windows.net:443
- *.servicebus.windows.net:443
- graph.microsoft.com:443
- *.arc.azure.net:443
- linuxgeneva-microsoft.azurecr.io:443
Azure Arc OBO 服务（自定义 HTTPS 端口）
- *.obo.arc.azure.com:8084
Azure 文件存储 （SMB）
- STORAGE_ACCOUNT_NAME.file.core.windows.net:139,445
注意
将 AKS 与 Azure 文件 CSI 驱动程序配合使用以将共享装载为持久卷时，请为特定文件共享打开端口 139 和 445。
遥测 （HTTPS）
- linuxgeneva-microsoft.azurecr.io:443
- *.blob.core.windows.net:443
- gcs.prod.monitoring.core.windows.net:443
- *.microsoftmetrics.com:443
- *.table.core.windows.net:443
- *.azureedge.net:443
- *.data.microsoft.com:443
VideoIndexer （HTTPS）
- api.videoindexer.ai:443
支持的输入格式和编解码器
以下部分列出了 Arc 启用的 Azure AI 视频索引器支持的输入格式和编解码器。
视频格式
- AVI (.avi)
- FLV（使用 H.264 和 AAC 编解码器）(.flv)
- ISMV （.isma， .ismv）
- 马特罗斯卡 （.mkv）
- MP4（.mp4、.m4a、.m4v）
- MXF (.mxf)
- MPEG2-TS
- QuickTime （.mov）
- WAVE/WAV (.wav)
- Windows Media 视频 (WMV)/ASF（.wmv、.asf）
视频编解码器
- AVC 8 位/10 位，最高支持 4:2:2，包括 AVCIntra
- 数字视频 (DV)（AVI 文件格式）
- DVCPro/DVCProHD（在 MXF 容器中）
- HEVC/H.265
- MPEG-1
- MPEG-2（最多支持 422 个配置文件和高级别；包括 Sony XDCAM、Sony XDCAM HD、Sony XDCAM IMX、CableLabs? 和 D10 等变体）
- Mpeg-4 第 2 部分
- VC-1/WMV9
最多两个曲目的音频编解码器
- AAC （AAC-LC、AAC-HE 和 AAC-HEv2）
- FLAC
- MPEG 第 2 层
- MP3 （MPEG-1 音频层 3）
- VORBIS
- WAV/PCM
- Windows Media 音频
自带模型
Arc 启用的 Azure AI 视频索引器还支持使用自定义模型。 有关详细信息，请参阅自带模型 (BYO) 一文。
限制
- 索引支持的文件大小最大为 2 GB。
- Arc 启用的 Azure AI 视频索引器不支持上传和索引分辨率为 1920x1080 或更高版本的视频。
- 升级扩展：
- 扩展支持仅适用于最新版本。
- 建议将
auto-upgrade属性设置为true. 此设置使扩展保持最新。 - 如果自动升级设置设置为 false，则应以增量方式升级版本。 在版本之间跳跃可能会导致索引进程失败。
- 扩展安装或升级后，预计第一个索引和翻译过程持续时间比正常时间长。 较长的持续时间是由于 AI 模型映像下载造成的。 持续时间因网络速度而异。
- 每个已启用 Arc 的 Kubernetes 群集只能部署一个视频索引器扩展。
- 群集的存储卷性能（基于存储类）对索引作业的完成时间有重大影响，尤其是因为帧提取过程将所有帧写入存储卷中。
- 仅支持扩展访问令牌。 可以从 API/CLI 获取扩展访问令牌。 有关获取访问令牌的示例，请参阅如何访问扩展。
- 由于内存限制，视频错误消息不会存储。
由 Arc 启用的 Azure 容器存储
我们建议使用由 Azure Arc 启用的 Azure 容器存储进行存储。 如需了解更多信息，请参阅以下文章：
相关内容
- 尝试 在 GitHub 上通过 Arc 示例启用的 Azure AI 视频索引器
- 尝试 通过 Arc Jumpstart 启用 Azure AI 视频索引器
- 尝试使用通过 Arc 快速入门启用的 Azure AI 视频索引器在 Azure 门户中进行部署