Artificial Intelligence

人工智能(AI)可以被认为是近年来最具颠覆性的技术。 这是一个广义的术语,包含多种算法和技术, 包括机器学习 (ML)、深度学习 (DL)、强化学习 (RL)、机器人技术等。人工智能的主要目标之一是自动化决策 模仿人类大脑过程的方式。 虽然使用机器来指导决策并不是什么新鲜事,但今天它已经变得越来越重要,因为它们对现代生活的许多方面产生了影响, 并将其融入了跨行业的业务流程,从娱乐和电子商务到更高风险的应用程序, 例如医疗保健、政府和教育。这在很大程度上是由于数字数据的数量和种类呈指数级增长、 高级算法的发展以及负担得起的计算能力。

AI 基准通常侧重于在训练预测模型(即模型训练)或使用先前训练的模型(即模型推理)进行预测时测量 AI 系统的性能。 然而,成功应用人工智能技术所需的数据管理和数据处理的其他必要步骤往往被忽视,包括数据采集、数据准备、 特征工程、模型训练、模型持久性、模型部署和模型推理。

TPCx-AI 通过实施具有代表性的 AI 用例解决了这一差距,这些用例模拟了具有真实数据集的真实端到端 AI 处理管道的行为。 TPCx-AI 由 10 个用例(7 个 ML 和 3 个 DL)组成——每个用例都有一个训练和一个端到端的服务管道——它们提供了一种评估 AI 系统作为通用数据科学的性能的方法 系统:
  • 生成和处理大量数据,从 1 GB 到 TB 不等;
  • 训练预处理数据以生成逼真的机器学习模型;;
  • 根据生成的模型对真实世界的客户场景进行准确的洞察; 和
  • 允许灵活地更改配置以满足动态 AI 环境的需求。


目前,TPCx-AI 工作负载被实现为使用 Apache Spark 在多节点环境中执行,以及使用最流行的 AI 和数据科学 Python 库在单节点环境中执行。 它也可以扩展到其他环境。

TPCx-AI 报告的性能指标称为 AI 用例每分钟性能指标 (AIUCpm@SF)。 它反映了以下几点:
  1. 选定的数据集大小,SF,用于运行用例
  2. 通过将数据集移动到合适的文件系统或数据库来摄取数据集所需的时间
  3. 顺序运行用例时的用例处理能力
  4. 多个并发用户执行用例时的推理吞吐量

TPCx-AI 价格/性能指标表示为价格/AIUCpm@Size