Discuz! Board

標題: Qualcomm Cloud AI 100 凭借最新的 MLPerf v3.0 结果继续在能效方面... [打印本頁]

作者: heyjoypaul 時間: 2024-4-27 11:24
標題: Qualcomm Cloud AI 100 凭借最新的 MLPerf v3.0 结果继续在能效方面...

ML Common 在 MLPerf v3.0 中继续努力为训练和推理测试平台创建机器学习基准。该开放工程联盟已收到大量对其基准套件的提交，以测量快速系统并训练模型以达到目标质量指标，Qualcomm Technologies, Inc. 再次通过 Qualcomm Cloud AI 100 展示了其在该领域的领导地位。

Qualcomm Cloud AI 100 的 MLPerf™ v3.0 推理结果证明了 Qualcomm Technologies 对MLCommons ™ MLPerf™ 基准测试的承诺，将其提交范围扩展到所有基准测试部门（包括封闭、开放和网络）以及所有功率提交。 Qualcomm Cloud AI 100 不仅在当前最接近的竞 瑞典WhatsApp 号码 争对手的能效基准中继续领先，而且在具有竞争力的下一代人工智能加速器的许多基准中也继续领先。所有基准测试都显示自然语言处理和计算机视觉网络的性能和能效有所提高。

Qualcomm Technologies 首次推出 Qualcomm Cloud AI 100 PCIe Lite 加速器，可配置为 35-55W 热设计功耗 (TDP)，满足 AI Edge 市场对低功耗、高性能的需求，并推动更高的性能/TCO 成本。高通云人工智能合作者为边缘和数据中心类别添加了多个新的服务器平台。新推出的平台包括HPE ProLiant DL385服务器、Dell PowerEdge XR4520c、Dell PowerEdge R650和Lenovo ThinkEdge SE450。高通人工智能软件合作公司已提交了多个基于高通 Cloud AI 100 的平台，其中包括高通机器人 RB6 平台。

Qualcomm Technologies 的 MLPerf™ 基准测试结果在每次提交中都不断扩大。 MLPerf™ v3.0 拥有 25 个系统和超过 320 个基于 Qualcomm Cloud AI 100 加速器的结果。

高通图像
单击查看更大的图像
Qualcomm Technologies 的 MLPerf™ v3.0 推理基准测试结果超越了其之前在所有类别中的峰值离线性能、能效和更低延迟方面的记录。配备 18 个 Qualcomm Cloud AI 100 Pro（75W TDP）加速器的 2U 数据中心服务器平台实现了每秒 430K+ 推理的 ResNet-50 离线峰值性能，并实现了 241 推理/秒/瓦的功效。所有平台上的 Qualcomm Cloud AI 100 RetinaNet 网络离线性能均优化了约 40-80%，服务器性能优化高达 110%。

自首次提交 MLPerf™ 1.0 以来，Qualcomm Cloud AI 100 性能提升高达 86%，能效提升高达 52%。这些改进是通过软件优化实现的，例如 AI 编译器、DCVS 算法和内存使用的改进。这凸显了过去几年的持续努力和投资。

高通图像
单击查看更大的图像
Qualcomm Technologies 持续创新和优化所有提交的人工智能解决方案，重点关注能效和性能。今年，我们通过 PCIe Lite 卡展示了满足 AI 边缘应用需求的能力。低功耗、高性能人工智能推理解决方案可根据应用需求配置为 35-55W TDP。与 PCIe Pro 和 PCIe Standard SKU 一样，它支持多种神经网络模型和框架，例如 TensorFlow、PyTorch 和 ONNX Runtime。它还利用高通人工智能神经处理SDK，提供统一的API以方便集成和部署。以下是 PCIe Lite 卡的一些主要优势：

高吞吐量和低延迟：该加速器可以在 55W TDP 下提供接近 200 TOPS 的峰值性能，从而为 BERT 和 RetinaNet 等复杂模型提供快速响应的推理。
可扩展性和灵活性：加速器可用于各种外形尺寸和配置，例如每个服务器单个或多个卡，或具有 PCIe 或 USB 接口的独立设备。它还可以支持与其他处理器（例如CPU或GPU）的异构计算。
功效和可靠性：加速器采用先进的电源管理技术来优化功耗和热性能。
随着人工智能和机器学习工作负载的规模和复杂性不断增加，它们需要更多的计算资源和能源消耗。这对希望以合理的成本提供和访问高质量服务的提供商和最终用户都构成了挑战。因此，完善支持这些工作负载的解决方案的性能和效率至关重要。 Qualcomm Technologies 提供各种高能效人工智能加速器，以满足性能/TCO 美元要求。

歡迎光臨 Discuz! Board (http://acgmentian.7788.tw/)