人工智能教程

搜索

人工智能教程:2018年的Facebook文章称,他们只在所有机器学习模型的在线推理阶段使用CPU。为什么他们决定在这种用例中使用CPU而不是GPU?

[复制链接]
admin 发表于 2018-5-16 23:51:32 | 显示全部楼层 |阅读模式
admin 2018-5-16 23:51:32 17 0 显示全部楼层
人工智能教程:2018年的Facebook文章称,他们只在所有机器学习模型的在线推理阶段使用CPU。为什么他们决定在这种用例中使用CPU而不是GPU?总的来说,我认为这涉及到信息解析和循环的传播是如何工作的。正如他们在论文中所指出的那样,内在的体系结构直接影响什么是最优化的反对什么类型的问题 - 以及在什么约束下:
是功能选择/功能减少,在通过带宽传播进行通信方面存在的问题 - 在批处理解析,同步结构等方面的问题。更进一步,我相信固有的一面也是内存如何被解析和访问的。我不够精通,以证明这一说法 - 但是,这是我的怀疑,如果内存分配在直接访问方式或传播方式方面有所不同,那么解析信号可能会区分固有方面进一步。

从某种意义上说,我也会假设 - 固有问题可能会成为结构习惯化中的缩放问题 - 它们如何结合在一起,大规模基质减量如何发挥作用 - 数据包整合如何与处理联系起来等等。我的意思是,最终 - 当然 - 这是一个优化和成本问题。但是,这里面的细节 - 以及这些集群的行为如何 - 这一点避免了我的进一步反思。我记得在读取我的MiT证书时阅读电子产品和关于MosFET的信息,但是我仍然没有提供足够的硬件知识 - 准确地强调,信息流如何分析 - 过去的怀疑,类似于尺寸缩减,时钟周期,查询传播等。谢谢你,这个A2A。希望这能以某种方式帮助你。

人工智能教程:2018年的Facebook文章称,他们只在所有机器学习模型的在线推理阶段使用CPU。为什么他们决定在这种用例中使用CPU而不是GPU?在机器学习中,训练阶段很少或根本不会实时完成 - 您可以使用尽可能多的计算能力离线执行此操作,以便从特征中派生模型权重。一旦模型得到培训,您就可以将模型部署到运营生产中 - 现在,您正在进行实时检测和预测,现在强调速度。

CPU + GPU设置用于训练(请参阅下面的图纸),但是一旦模型被训练完毕,您只需要CPU进行推理阶段。从经验来看,这可能是为了降低成本和速度,如果您查看Facebook的分布式CPU基础架构,他们会有大量的CPU,因此一旦模型被训练,您不一定需要额外的GPU计算能力。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 返回列表 发新帖

admin当前离线
管理员

查看:17 | 回复:0

快速回复 返回顶部 返回列表