在“传统”机器学习用例中，可以将生产数据传输到数据中心进行推理，- 例如，通过图像分类器输入图片。在 axonX，我们有使用 Google Kubeflow 框架的机器学习管道在 TensorFlow Serving（或 Seldon Serving）上在生产中运行模型的经验。在许多情况下，这是一种有效的 MLOps 方法，如果您有兴趣，我们很乐意向您介绍它！然而，这不是本文所要讨论的内容。
在某些情况下，由于带宽、延迟和可靠性的限制，无法依赖网络进行推理。例如，自动驾驶汽车每次驶出手机信号塔的范围时，不能都踩刹车来从集中式模型中获取决策，所以我们需要本地电力来获取这些决策和/或预测。高速摄 BC 数据 像机检查从工业料斗中落下的物品，只需几毫秒的时间来判断是否存在缺陷，同样，集中式或基于云的解决方案没有用例。
进入 Coral Edge TPU。
该单核设备于 2018 年发布，并自 2019 年起通过谷歌子公司 Coral 以几种小型形式分发，专注于运行节能推理。
这些产品相互补充：在海量数据集上训练模型是一项数据密集型且耗电的任务，最好留给谷歌数据中心的云 TPU 来完成。 Coral Edge TPU 填补了边缘的空隙。它允许您将模型带到数据并在那里应用它们，而不是相反。数据在离开设备之前可以被处理、过滤和聚合，而以前这些操作需要调用集中式服务，从而形成数据管道的瓶颈。这是有道理的；通过网络发送文本字符串“苹果，苹果，梨，香蕉”比发送偶尔出现水果的视频流要快得多。更好的是，Edge TPU 的小尺寸和低功耗使其适用于消费产品、远程传感器和其他物联网项目，而无需任何类型的网络连接。