A medida que la huella de Snowflake se expande, las organizaciones se enfrentan a una creciente presión para demostrar el valor de sus inversiones, controlar los gastos y garantizar un rendimiento constante. Sin embargo, los paneles de FinOps a menudo no identifican el problema real: no solo el coste computacional, sino el desperdicio.
DBTA organizó recientemente un webinar, Stop Paying for Bad Data: 7 Hidden Leaks in Your Cloud Bill (Deje de pagar por datos defectuosos: 7 fugas ocultas en su factura de la nube), con la participación de Randy Rouse, CTO de campo de Quest y Adam Morton, estratega de arquitectura de datos preparado para la IA y fundador de Mastering Snowflake, quienes abordaron las decisiones de diseño que reducen los costes computacionales y cómo evitar que los precios se disparen.
Rouse explicó que los paneles de FinOps suelen mostrar el uso, pero no el desperdicio. Cada registro redundante, obsoleto o trivial que llega a su plataforma se transforma, escribe, lee y vuelve a leer. Cada paso consume créditos y erosiona la confianza. Según Gartner, las empresas pierden más de 12,9 millones de dólares debido a la mala calidad de los datos, señaló Rouse.
Sin una propiedad y un linaje claros, los equipos no pueden ver lo que ya existe, por lo que reconstruyen inadvertidamente la información. No solo se duplica el almacenamiento, sino que se multiplica la computación con trabajos de actualización y cachés redundantes, según Rouse.
Para solucionar esto, es necesario extender el linaje a un catálogo universal que abarque las herramientas de ETL, BI y IA. Vincule cada conjunto de datos a un propietario y utilice la búsqueda impulsada por IA para ayudar a los equipos a encontrar activos confiables antes de crear nuevos.
Cada trabajo fallido que requiere una nueva ejecución manual representa un coste directo en su factura de la nube y en la productividad de su equipo. Estos incidentes son frecuentes y costosos. Rouse recomienda implementar una observabilidad de cinco pilares: frescura, volumen, esquema, distribución y linaje. Alerte sobre anomalías donde sea relevante y conecte las alertas a los propietarios de los conjuntos de datos a través de su catálogo.
Cuando los analistas no pueden encontrar o confiar en una fuente, crean sus propios conjuntos de datos y productos. Esto genera un ciclo de vida en la sombra de nuevos trabajos, paneles de control y costes para datos que probablemente ya existen. Adopte una mentalidad de producto de datos. Publique productos de datos certificados y confiables con propietarios claros y SLA en un mercado centralizado. Utilice el descubrimiento asistido por IA para convertir el descubrimiento en reutilización, no en duplicación.
La peor fuga es aquella que nadie posee. La gobernanza alinea a todos en un objetivo común: solo los datos confiables, modelados y gobernados deben consumir sus recursos más costosos. Reemplaza las soluciones heroicas con una responsabilidad medible: propietarios, SLA y productos certificados en lugar de trabajos misteriosos, afirmó Rouse.
Quest apoya esta estrategia mediante la creación de productos de datos confiables y de alta calidad a través del modelado de datos, la inteligencia y la gobernanza. Las soluciones de Quest son independientes de la plataforma para la colaboración en bases de datos y las migraciones sin problemas (nube y en las instalaciones).
Para acceder al webinar completo, con una discusión más detallada, preguntas y respuestas, y más información, puede ver una versión archivada aquí.
