公司
解决方案
Developers
支持
Search
CN
CN
Ampere Computing Logo
解决方案
解决方案主页
Systems
解决方案
性能总览
WORKLOAD BRIEFS OVERVIEW
Tuning Guides Coming Soon
White Papers Coming Soon!
如何购买
Ampere 系统
Ampere Altra
Azure
Equinix
甲骨文
腾讯云
谷歌云
Ampere AI 下载工作原理常见问题
Developers
Developer CenterDeploying Cloud ApplicationsEnabling the Open-Source Community Using Your Data Building Cloud ApplicationsDesigning Cloud Applications
Search
Hero Image

Ampere AI

Ampere 的优化框架
Ampere 的模型库 (AML)

AI 解决方案
关键收益
下载
工作原理
常见问题
资源
外部链接
测试与回归
AI 框架
推荐系统
AI 解决方案

基于Ampere Altra的AI解决方案

Ampere AI 提供世界一流的 AI 推理解决方案! 经过Ampere 的优化,在我们所支持的开箱即用框架上运行任何现有模型都可以提供显著的推理性能优势。Ampere AI 目前支持以下框架,可在这里或在我们的一些支持合作伙伴处免费下载:

  • TensorFlow
  • PyTorch
  • ONNX

Ampere 硬件支持原生 FP16 数据格式,提供比 FP32 近 2 倍的加速,并且对于大多数 AI 模型几乎没有精度损失。

Ampere 提供易于使用的 Docker 容器,其中包括计算机视觉和自然语言处理模型示例和基准测试套件,使开发人员能够快速入门。立即下载我们的 Docker 容器,体验我们一流性能的优势。有关我们解决方案的更多信息请阅读以下信息。

解决方案简介
Throughput Performance on TensorFlow 2.7

关键收益

Ampere AI 优化框架 + Ampere Altra Max 为 MLPerf 等应用提供颠覆性的价值:

  • 可预测性能:使用 FP16 的吞吐量比 AWS Graviton 高 5 倍!
  • 可预测性能:使用 FP16 的吞吐量比 x86 的竞品高 2 倍以上!

使用与 Ampere 测试中不同的系统配置、组件、软件版本和测试环境可能会导致与 Ampere 获得的测量结果不同。 我们测试中使用的系统配置和组件在[这里]进行了详细说明 这里

下载

Ampere 优化的 AI 软件

Ampere Altra 和 Ampere Altra Max 采用高性能 Ampere 优化框架,为包括 Tensorflow、PyTorch 和 ONNX Runtime 在内的框架提供一流的人工智能推理性能。 Ampere 的模型库 (AML) 提供预训练模型,可以为加速 AI 开发提供帮助。

Ampere 优化的 PyTorch
Ampere 的推理加速引擎与 Pytorch 框架完全集成。 使用 Pytorch API 编写的 Pytorch 模型和软件可以按原样运行,无需任何修改。
Pytorch_logo
Ampere 优化的 TensorFlow
Ampere 的推理加速引擎与 Tensorflow 框架完全集成。 使用 Tensorflow API 编写的 Tensorflow 模型和软件可以按原样运行,无需任何修改。
TensorFlow_logo
Ampere 优化的 ONNX 运行时
Ampere 的推理加速引擎与 ONNX 运行时框架完全集成。 使用 ONNX Runtime API 编写的 ONNX 模型和软件可以按原样运行,无需任何修改。
Ampere 优化的 ONNX 运行时
Ampere 模型库 (AML)
Ampere 模型库 (AML) 是一组 AI 模型架构,可处理业界最苛刻的工作负载。 请访问 AML 开放式 GitHub 存储库,在我们的 Ampere Altra 系列云原生处理器上使用优化的框架来验证 Ampere AI 的卓越性能。
GitHub-Small.png
工作原理

Ampere 优化的框架组件

借助推理引擎,Ampere 优化框架可提供的优势。 [点击这里查看演示](https://solutions-portal-cms-prod-bucket.s3.us-east-1.amazonaws.com/Ampere_AI_1080p_FIXED_84db6ccf34.mp4?updated_at=2022-04-21T16:43: 36.387Z)

AmpereAILayer.jpg

Ampere 通过将优化的推理层集成到通用 AI 框架中,帮助客户实现 AI 工作负载的卓越性能。

这种与任何 AI 框架的无缝集成可加速推理的同事,而不会造成任何准确性损失、也无需转换或模型重新训练。 架构如上图所示。 主要组件如下:

  • 框架集成层 与开发人员最常用框架完全兼容。 软件“按原样”与经过训练的推理网络一起工作。 不需要任何转换或做近似值。
  • 模型优化层 采用了诸如结构网络增强、处理顺序更改以提高效率,数据流优化等技术,而不会降低准确性。
  • 硬件加速层 包括一个“即时”优化编译器,它利用了为Ampere 处理器专门优化的少量微内核,这种方法可以让推理引擎提供高性能并支持多个框架。
常见问题

Ampere AI 的常见问题

资源

外部链接

测试和回归

解决方案和回归测试

AI 框架

当前可用的Ampere 优化 AI 镜像的回归测试

Ampere_AI_logo
Ampere AI
100% 已验证 / 0% 未验证
了解更多
推荐系统
Created At : August 16th 2022, 9:52:09 am
Last Updated At : October 12th 2022, 2:38:14 pm

Ampere Computing

4655 Great America Parkway

Suite 601 Santa Clara, CA 95054

Tel: +1-669-770-3700

info[at]amperecomputing.com

关于我们
image
image
image
image
© 2022 Ampere Computing LLC. All rights reserved. Ampere, Altra and the A and Ampere logos are registered trademarks or trademarks of Ampere Computing.