Achronix sobre Selección de plataforma para IA en el borde

Colin Alexander (Director de marketing de productos de Achronix) lanzó recientemente un seminario web sobre este tema. Con solo 20 minutos, el seminario web es fácil de ver y una actualización útil sobre el tráfico de datos y las opciones de implementación. Las descargas todavía están dominadas por el video (más del 50 % para Facebook), que ahora depende en gran medida del almacenamiento en caché en o cerca del borde. Cuál de estos se aplica depende de su definición de "borde". El mundo de IoT se ve a sí mismo como el borde, el mundo de la nube y la infraestructura aparentemente ven el último nodo de cómputo en la infraestructura, antes de esos dispositivos de hoja, como el borde. Patata, patata. En cualquier caso, la vista de infraestructura del borde es donde encontrará el almacenamiento en caché de video, para servir las descargas más populares de la manera más eficiente y rápida posible.

Opciones informáticas en el perímetro (y en la nube)

Colin habla inicialmente sobre el borde de la infraestructura donde se requiere algo de potencia en cómputo e inteligencia artificial. Presenta las opciones estándar: CPU, GPU, ASIC o FPGA. Una solución basada en CPU tiene la mayor flexibilidad porque su solución estará completamente basada en software. Por la misma razón, también será generalmente la opción más lenta, con mayor consumo de energía y de latencia más larga (supongo que para el viaje de ida y vuelta a los nodos hoja). Las GPU son algo mejores en rendimiento y potencia con un poco menos de flexibilidad que las CPU. Un ASIC (hardware personalizado) será más rápido, de menor potencia y de menor latencia, aunque en concepto menos flexible (toda la inteligencia está en el hardware que no se puede cambiar).

Él presenta FPGA (o FPGA/eFPGA incorporado) como un buen compromiso entre estos extremos. Mejor en rendimiento, potencia y latencia que la CPU o GPU y en algún lugar entre una CPU y una GPU en flexibilidad. Si bien es mucho mejor que un ASIC en flexibilidad porque un FPGA se puede reprogramar. Todo lo cual tiene sentido para mí hasta donde llega, aunque creo que la historia debería haberse completado agregando DSP a la línea de plataformas. Estos pueden tener ventajas de hardware específicas de IA (vectorización, arreglos MAC, etc.) que benefician el rendimiento, la potencia y la latencia. Mientras conserva la flexibilidad del software. La otra consideración importante es el costo. Este siempre es un tema delicado, por supuesto, pero las CPU, GPU y dispositivos FPGA con capacidad de IA pueden ser costosos, una preocupación por la lista de materiales de un nodo perimetral.

El argumento de Colin tiene más sentido para mí en el extremo de eFPGA integrado en un SoC más grande. En una aplicación en la nube, las restricciones son diferentes. Una tarjeta de interfaz de red inteligente probablemente no sea tan sensible al precio y puede haber una ventaja de rendimiento en una solución basada en FPGA frente a una solución basada en software.

La compatibilidad con aplicaciones de IA en el perímetro informático a través de un eFPGA parece una opción que vale la pena investigar más a fondo. Más lejos, hacia los nodos de las hojas, es confuso para mí. Un rastreador de logística o un sensor de humedad del suelo seguramente no albergarán un cálculo significativo, pero ¿qué pasa con un control remoto de TV activado por voz? ¿O un microondas inteligente? Ambos necesitan IA pero ninguno necesita mucha potencia. El microondas tiene alimentación por cable, pero un control remoto de TV o un altavoz inteligente remoto funciona con baterías. Sería interesante conocer las compensaciones de eFPGA aquí.

Capacidades de eFPGA para IA

Según la hoja de datos, Speedster 7t ofrece MAC enteros totalmente fracturables, punto flotante flexible, soporte nativo para bfloat y multiplicaciones de matrices eficientes. No pude encontrar ningún dato sobre TOPS o TOPS/Watt. Estoy seguro de que depende de la implementación, pero los ejemplos serían útiles. Incluso en el borde, algunas aplicaciones son muy sensibles al rendimiento, por ejemplo, la vigilancia inteligente y la detección de objetos orientados hacia adelante en automóviles. Sería interesante saber dónde podría encajar eFPGA en tales aplicaciones.

Seminario web que invita a la reflexión. Puedes verlo AQUÍ.

Comparte esta publicación a través de:

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. Accede Aquí.
• Fuente: https://semiwiki.com/efpga/323785-achronix-on-platform-selection-for-ai-at-the-edge/