Rembrand ha logrado optimizar significativamente sus costos de entrenamiento y aumentar su productividad gracias a una nueva estrategia de asignación de recursos de GPU. En lugar de reservar máquinas completas de ocho GPU para un solo experimento, DWS asigna el número exacto de GPU necesarias y gestiona las colas de trabajo de manera eficiente. Esta optimización resultó en una reducción inmediata de entre el 45% y el 55% en los costos de entrenamiento, al tiempo que garantizaba un acceso constante a aceleradores de alto rendimiento.
Según Khamis, “El acceso a GPU de alta gama en unidades individuales nos permitió experimentar constantemente sin sobreaprovisionamiento ni esperar semanas por la capacidad”.
La implementación de Kubeflow y su operador de entrenamiento PyTorchJob sobre GKE proporcionó al equipo un control total sobre el entrenamiento distribuido, orquestando pipelines y garantizando la reproducibilidad de los experimentos. “De repente, pudimos ejecutar trabajos de 32 o 48 GPU sin complicaciones de ingeniería”, explicó Khamis. “El clúster simplemente entendía cómo colocar las cargas de trabajo y recuperarse de fallos. Y nuestros modelos más pequeños se ejecutaban junto a ellos en T4 o L4 sin necesidad de mantener sistemas separados”.
Al centralizar el entrenamiento, la experimentación, el preprocesamiento de datos y la generación de datos sintéticos en GKE, y co-localizar el almacenamiento en Cloud Storage, Rembrand eliminó las ineficiencias de mover cargas de trabajo entre diferentes nubes. “Nuestra producción creció entre cinco y seis veces, no porque contratáramos más personal, sino porque la plataforma dejó de ser un obstáculo”, afirmó Khamis.
Más sobre esto