Hola a todos.
He estado trabajando y profundizando bastante en Lakeflow, especialmente en Lakeflow Connect, Declarative Pipelines y Jobs.
Me gustaría conocer cómo lo están adoptando en proyectos reales dentro de LATAM.
En arquitecturas donde ya existe ADF, Airflow u otro orquestador, ¿están migrando la orquestación hacia Lakeflow Jobs o prefieren mantener ambos componentes?
Desde mi experiencia, veo valor en mantener herramientas externas cuando todavía controlan procesos fuera de Databricks, pero dentro del Lakehouse tiene mucho sentido simplificar y reducir dependencias.
¿Qué patrón les ha funcionado mejor?
ADF/Airflow + Databricks
Lakeflow completamente nativo
Arquitectura híbrida
Me interesa especialmente conocer experiencias reales de producción.