AWS invitó a los clientes a reservar clústeres con aceleradores NVIDIA H100 / ServerNews

Los bloques de capacidad de Amazon EC2 para ML permiten a los clientes reservar acceso a “cientos” de aceleradores Nvidia H100 en EC2 UltraClusters, que están diseñados para cargas de trabajo de aprendizaje automático de alto rendimiento. Los clientes simplemente especifican el tamaño de clúster deseado y la fecha de inicio y finalización del acceso. Esto aumenta la previsibilidad de la disponibilidad de recursos de IA y al mismo tiempo elimina la necesidad de pagar por el acceso a la capacidad cuando no está en uso. AWS también se beneficia porque este enfoque hace un mejor uso de los recursos existentes.

Los bloques de capacidad EC2 ofrecen clústeres que van de 1 a 64 instanciasEC2 P5 con conexión basada en Elastic Fabric Adapter (EFA) de segunda generación. Los grupos se pueden reservar por un período de 1 a 14 días, pero como máximo con ocho semanas de antelación. Esto los hace ideales para entrenar y ajustar modelos de IA, experimentos a corto plazo o para manejar volúmenes de demanda pico, como cuando se lanza un nuevo producto, dijo AWS.

Holger Mueller, analista de Constellation Research Inc., anotadoque el enfoque creativo de AWS puede maximizar la eficiencia de los recursos de aceleradores existentes, que actualmente tienen una demanda máxima y su acceso es costoso. Según él, el enfoque está tomado de la era del mainframe y se utilizó por primera vez en la década de 1970, cuando el acceso se distribuía en el tiempo entre cientos de usuarios con diferentes cargas de trabajo.

Los clientes pueden utilizar la consola, la CLI o el SDK de AWS para buscar y reservar clústeres disponibles. Con los Bloques de Capacidad EC2, los clientes solo pagan por el tiempo que reservan. Disponible en la región este de EE. UU. de AWS (Ohio). Ampliaremos la cantidad de regiones y locales de AWS con esta solución disponible en el futuro.

Fuente: