Kinara™ 推出了 Kinara Ara-2 Edge AI 处理器，为边缘服务器和笔记本电脑提供高性能、高性价比和高能效的推理能力，以运行视频分析、大型语言模型 (LLM) 和其他生成式 AI 模型等应用。
Ara-2 还是运行传统人工智能模型和基于变压器架构的先进人工智能模型的边缘应用的理想选择。Ara-2 Edge AI 处理器拥有经验增强型功能集，性能是其第一代 Ara-1 处理器的 5-8 倍，将实时响应能力与高吞吐量相结合，将其经过验证的延迟优化设计与完美平衡的片上存储器和高片外带宽相结合，以极低的延迟执行超大型模型。
LLM 和一般的生成式人工智能（Generative AI）已经变得非常流行，但大多数相关应用都是在数据中心的 GPU 上运行的，存在高延迟、高成本和隐私问题。为了克服这些限制并将计算真正交到用户手中，Ara-2 通过支持这些生成式人工智能模型使用的数百亿个参数，简化了向边缘的过渡。此外，为了实现从昂贵的 GPU 向各种人工智能模型的无缝迁移，Ara-2 中的计算引擎和相关软件开发工具包 (SDK) 专门设计用于支持高精度量化、动态调节主机运行时间和直接 FP32 支持。
"随着 Ara-2 加入我们的处理器系列，我们可以更好地为客户提供性能和成本选择，以满足他们的要求。例如，Ara-1 是适用于智能相机以及具有 2-8 视频流的边缘人工智能设备的解决方案，而 Ara-2 则非常适合处理输入边缘服务器、笔记本电脑甚至高端相机的 16-32+ 视频流，"Kinara 首席执行官 Ravi Annavajjhala 说。"Ara-2利用其先进的计算引擎，能够更快、更准确地处理更高分辨率的图像，从而实现更好的目标检测、识别和跟踪。作为其处理生成式人工智能模型能力的一个例子，Ara-2在处理稳定扩散图像时每幅图像可达到10秒，在处理LLaMA-7B时每秒可达到几十个令牌。"
今年10月，Ampere欢迎Kinara加入人工智能平台联盟，主要目标是降低系统复杂性，促进人工智能更好地协作和开放，并最终提供比GPU更好的总体性能，提高功耗和成本效率。Ampere 首席布道师 Sean Varley 表示："Kinara 的 Ara-2 的性能和功能集是朝着正确方向迈出的一步，有助于我们为业界带来比基于 GPU 的现状更好的人工智能替代方案。"
Ara-2 还是运行传统人工智能模型和基于变压器架构的先进人工智能模型的边缘应用的理想选择。Ara-2 Edge AI 处理器拥有经验增强型功能集，性能是其第一代 Ara-1 处理器的 5-8 倍，将实时响应能力与高吞吐量相结合，将其经过验证的延迟优化设计与完美平衡的片上存储器和高片外带宽相结合，以极低的延迟执行超大型模型。
LLM 和一般的生成式人工智能（Generative AI）已经变得非常流行，但大多数相关应用都是在数据中心的 GPU 上运行的，存在高延迟、高成本和隐私问题。为了克服这些限制并将计算真正交到用户手中，Ara-2 通过支持这些生成式人工智能模型使用的数百亿个参数，简化了向边缘的过渡。此外，为了实现从昂贵的 GPU 向各种人工智能模型的无缝迁移，Ara-2 中的计算引擎和相关软件开发工具包 (SDK) 专门设计用于支持高精度量化、动态调节主机运行时间和直接 FP32 支持。
"随着 Ara-2 加入我们的处理器系列，我们可以更好地为客户提供性能和成本选择，以满足他们的要求。例如，Ara-1 是适用于智能相机以及具有 2-8 视频流的边缘人工智能设备的解决方案，而 Ara-2 则非常适合处理输入边缘服务器、笔记本电脑甚至高端相机的 16-32+ 视频流，"Kinara 首席执行官 Ravi Annavajjhala 说。"Ara-2利用其先进的计算引擎，能够更快、更准确地处理更高分辨率的图像，从而实现更好的目标检测、识别和跟踪。作为其处理生成式人工智能模型能力的一个例子，Ara-2在处理稳定扩散图像时每幅图像可达到10秒，在处理LLaMA-7B时每秒可达到几十个令牌。"
今年10月，Ampere欢迎Kinara加入人工智能平台联盟，主要目标是降低系统复杂性，促进人工智能更好地协作和开放，并最终提供比GPU更好的总体性能，提高功耗和成本效率。Ampere 首席布道师 Sean Varley 表示："Kinara 的 Ara-2 的性能和功能集是朝着正确方向迈出的一步，有助于我们为业界带来比基于 GPU 的现状更好的人工智能替代方案。"
Ara-2 Edge AI 处理器还提供安全启动、加密内存访问和安全主机接口，使企业 AI 部署具有更高的安全性。Kinara 还为 Ara-2 提供全面的 SDK 支持，其中包括模型编译器和计算单元调度器、灵活的量化选项（包括集成的 Kinara 量化器）以及对预量化 PyTorch 和 TFLite 模型的支持、多芯片系统负载平衡器和动态调节的主机运行时。
Ara-2 可作为独立设备、USB 模块、M.2 模块和包含多个 Ara-2 的 PCIe 卡提供。Kinara 将在 CES 上展示 Ara-2 的现场演示。
