A medida que nos acercamos a Nvidia GTC, vale la pena señalar que hay otro jugador en la ciudad. O al sur de la ciudad, en San Diego: Qualcomm. La compañía ha estado desarrollando experiencia y tecnología en IA durante más de una década, y creemos que su ventaja sobre sus rivales móviles tanto en hardware como en software de IA es significativa. La compañía tiene una amplia familia de SoC que comparte la tecnología central de aceleración de IA, incluido el nuevo Snapdragon X Eliteel Snapdragon 8 Gen 3 para dispositivos móviles y el Cloud AI100 Ultra para la IA del centro de datos.
Me interesé por primera vez en Qualcomm AI en un almuerzo que la compañía patrocinó en San Francisco en 2017. Los ingenieros parecían realmente emocionados de hablar tanto sobre la IA en Snapdragon para dispositivos móviles como sobre lo que se convirtió en el CloudAI 100, que contaba con unos 400 TOPS en solo 75 vatios cuando se lanzó en 2020. Esa es una cantidad asombrosa de rendimiento de IA a bajo consumo. De hecho, sigue siendo el líder del mercado. Veamos por qué creemos que Qualcomm ahora tiene la primera posición en el procesamiento de inferencia.
Razones del liderazgo de Qualcomm en Edge AI
Recientemente hablé de la estrategia y los productos de IA de Qualcomm con Ziad Asghar, vicepresidente de marketing de productos de Qualcomm. Qualcomm cree que gran parte de la inferencia de IA que se realiza hoy en la nube migrará a dispositivos periféricos. Después de todo, si el dispositivo perimetral tiene suficiente potencia de procesamiento y memoria para realizar el trabajo, ¿por qué pagar por tiempo en la infraestructura de un CSP cuando puede ejecutar el trabajo en el dispositivo que ya posee? Es gratis, ¿verdad? ¡Y Ziad incluso predijo que aplicaciones de inteligencia artificial como Microsoft Co-Pilot, actualmente solo disponibles a través de la nube de Azure, eventualmente se ejecutarán en el dispositivo!
Pero conseguir que modelos de lenguaje grandes se ejecuten en un teléfono o en un SoC de automóvil no es sólo una simple compilación y listo. Es necesario reducir el tamaño del modelo para que quepa en la memoria (cuantización). Es necesario podar la red para aumentar el rendimiento (escasez de cosecha). El uso de la compresión puede reducir aún más el tamaño de la red (compresión MX6). Y nuevas técnicas, como la decodificación especulativa, pueden acelerar el tiempo de texto mediante el uso de dos LLM en paralelo; uno rápido para generar una posible respuesta y otro más completo para comprobar esa respuesta. Todas estas son áreas que Qualcomm está investigando e implementando en Snapdragon y Cloud AI100.
El X Elite está diseñado para computadoras portátiles con Windows.
Qualcomm
En general, he aquí algunas razones por las que Qualcomm está bien posicionado en estos primeros días de IA al límite.
Rendimiento de Snapdragon
Pero comencemos con el rendimiento. Un buen rendimiento es sólo el comienzo del viaje de la IA, pero sin él no se llega a ninguna parte.
Hardware de Tom y Wccftech tiene Artículos publicados (enlaces a continuación) que analizan puntos de referencia que muestran el rendimiento del Snapdragon X Elite en tareas de CPU de un solo subproceso y múltiples subprocesos y cargas de trabajo de IA. Con suerte, pronto veremos algunos puntos de referencia de MLPerf.
Aquí hay algunos puntos clave:
- Rendimiento de IA: La NPU Hexagon del Snapdragon X Elite cuenta con un rendimiento de 45 TOPS (tera de operaciones por segundo), superando las ofertas de Intel y AMD en inferencia de IA según los puntos de referencia de Qualcomm. La NPU del Snapdragon X Elite supera significativamente al chip Intel en tareas de inferencia de IA utilizando UL Punto de referencia de Procyon
- Rendimiento de la CPU: Snapdragon X Elite también demuestra un rendimiento de CPU competitivo frente a los chips Intel Core i7 y AMD Ryzen en puntos de referencia como Geekbench y Cinebench. Y frente al Apple M3, el X Elite fue medido como un 21% más rápido.
- El rendimiento y la eficiencia energética de Cloud AI 100 han atraído a socios que buscan ejecutar procesamiento de inferencia a un menor costo y consumo de energía, incluidos Amazon AWS, HP Enterprise, Dell y Lenovo. Cerebras, el inventor de Wafer Scale Engine 3, anunció esta semana que ellos también se asociarán con Qualcomm y están obteniendo una ventaja de costos 10 veces mayor al utilizar esta plataforma para sus clientes.
- Observamos que el X Elite utiliza un núcleo completamente nuevo, diseñado por Nuvia que Qualcomm adquirió en 2021. Esperamos que este nuevo núcleo se utilice pronto en futuros centros de datos y dispositivos móviles. También debemos señalar que X Elite, si bien es un gran chip para la era de las PC con IA, tiene una gran colina de software que escalar para las aplicaciones de Windows.
Compatible con los principales fabricantes de equipos originales (OEM) de servidores. Qualcomm
XDA DevelopersSnapdragon X Elite vs Intel Core Ultra 7 155H: ejecutamos los puntos de referencia
El punto de referencia de Tom’s HardwareEarly Snapdragon X Elite muestra que la CPU Arm es más rápida que la APU móvil de gama alta de AMD
Software de IA
Qualcomm AI Hub es un recurso diseñado específicamente para desarrolladores que trabajan en dispositivos con tecnología Snapdragon de Qualcomm y otras plataformas. Funciona como una ubicación central para que los desarrolladores accedan y utilicen herramientas para el desarrollo de IA en el dispositivo. Aquí hay un desglose de sus características clave:
- Biblioteca de modelos de IA: El centro ofrece una colección de más de 75 modelos de IA preoptimizados. Estos modelos cubren diversas tareas como reconocimiento de imágenes, detección de objetos, procesamiento del habla y más. Los desarrolladores pueden integrar fácilmente estos modelos en sus aplicaciones, reduciendo el tiempo y el esfuerzo de desarrollo.
- Centrarse en la IA en el dispositivo: AI Hub enfatiza la IA en el dispositivo, donde el procesamiento de la IA ocurre directamente en el propio dispositivo, en lugar de depender de la nube. Este enfoque ofrece beneficios como tiempos de respuesta más rápidos, privacidad mejorada y menor dependencia de la conectividad a Internet.
- Optimización previa para el rendimiento: Los modelos de IA que se ofrecen en el centro están optimizados específicamente para funcionar de manera eficiente en procesadores Qualcomm. Esta optimización garantiza un rendimiento fluido y un uso eficiente de los recursos del dispositivo.
- Accesibilidad: Qualcomm AI Hub hace que estos modelos estén disponibles en múltiples plataformas además de la suya propia. Los desarrolladores pueden encontrarlos en el propio Qualcomm AI Hub, Hugging Face y GitHub.
El centro de IA de Qualcomm
Qualcomm
En general, Qualcomm AI Hub tiene como objetivo simplificar y acelerar el desarrollo de aplicaciones impulsadas por IA para dispositivos que se ejecutan en Qualcomm Snapdragon y otras plataformas al proporcionar modelos y recursos preoptimizados diseñados para la IA en el dispositivo.
Conclusiones
A medida que Qualcomm continúa evolucionando, ven la IA como el principal diferenciador en el futuro. La IA puede ayudar en todo, desde fotografía hasta servicios de productividad personalizados. Armado con su propia organización de investigación interna para la innovación a largo plazo y equipos de SoC que ejecutan de manera confiable según lo planeado, Qualcomm está listo para liderar el hardware y software de Edge AI. AMD e Intel no participan en el espacio móvil y Apple ni siquiera parece ser consciente de que ya está en marcha una revolución de la IA.
Qualcomm debe desarrollar y ejecutar una estrategia de ecosistema ganadora para Windows en X Elite, pero Microsoft está ahí para ayudar. Nadie quiere ejecutar una aplicación en modo emulación, al menos no por mucho tiempo.
Si bien Nvidia es, con diferencia, el líder en inteligencia artificial para centros de datos, creemos que Qualcomm tiene la posición de liderazgo en Edge, donde se están llevando a cabo muchas acciones. Y ya hay en el mercado algunos teléfonos realmente interesantes que demuestran el valor de la IA en el Edge.
Sígueme en Gorjeo o LinkedIn. Echa un vistazo a mi sitio web.
Divulgaciones: Este artículo expresa las opiniones del autor y
no debe tomarse como un consejo para comprar o invertir en las empresas mencionadas. Cambrian AI Research tiene la suerte de tener muchas, si no la mayoría, de las empresas de semiconductores como nuestros clientes, incluidas Blaize, BrainChip, CadenceDesign, Cerebras, D-Matrix, Eliyan, Esperanto, FuriosaAI, Graphcore, GML, IBM, Intel, Mythic, NVIDIA, Qualcomm Technologies, Si-Five, SiMa.ai, Synopsys, Ventana Microsystems, Tenstorrent y decenas de clientes inversores. No tenemos posiciones de inversión en ninguna de las empresas mencionadas en este artículo y no planeamos iniciar ninguna en el futuro cercano. Para obtener más información, visite nuestro sitio web en https://cambrian-AI.com.
Me encanta aprender y compartir el increíble hardware y servicios que se están creando para habilitar la Inteligencia Artificial, el próximo gran avance en tecnología.
Leer másLeer menos
2024-03-14 18:56:14
1710443098
#Qualcomm #convierte #gigante #móvil
