Los Open Table Formats (OTF) son especificaciones de metadatos de código abierto que se sitúan entre los motores de procesamiento de datos (como Apache Spark, Trino) y los sistemas de almacenamiento de objetos o archivos distribuidos (como S3, HDFS). Su propósito principal es añadir capacidades de tipo base de datos relacional, como transacciones ACID (Atomicidad, Consistencia, Aislamiento, Durabilidad), evolución de esquemas, "time travel" (consultar el estado de los datos en un punto anterior en el tiempo) y "schema enforcement" a los data lakes. Esto se logra manteniendo un registro transaccional de los archivos de datos que componen una tabla en un momento dado, permitiendo operaciones complejas y garantizando la integridad de los datos a gran escala.
En el mundo real, los Open Table Formats son implementados por proyectos como Apache Iceberg, Delta Lake (originalmente de Databricks, ahora de código abierto) y Apache Hudi. Apache Iceberg es ampliamente adoptado por empresas como Netflix y Apple para gestionar sus data lakes a escala petabyte, ofreciendo un rendimiento robusto y una gran flexibilidad. Delta Lake es el formato subyacente de la plataforma Databricks y también es utilizado por muchas organizaciones que buscan transacciones ACID y un rendimiento optimizado en sus data lakes. Apache Hudi, por su parte, es conocido por su enfoque en la ingesta de datos en tiempo real y la gestión de actualizaciones a nivel de registro, siendo utilizado por empresas como Uber.
Para un arquitecto, los Open Table Formats son cruciales porque transforman un data lake de un mero repositorio de archivos en una plataforma de datos transaccional y fiable. Permiten construir arquitecturas de datos modernas como el "Lakehouse", que combina la flexibilidad y el bajo costo de un data lake con las capacidades de gestión de datos de un data warehouse. La elección entre Iceberg, Delta Lake o Hudi implica considerar factores como la madurez del ecosistema, las necesidades específicas de transacciones (batch vs. streaming, actualizaciones a nivel de fila), la compatibilidad con los motores de procesamiento existentes y la comunidad de soporte. Adoptar un OTF reduce la complejidad operativa, mejora la calidad de los datos y habilita casos de uso avanzados como el machine learning sobre datos históricos consistentes, al tiempo que evita el "data swamp" y facilita la gobernanza de datos a gran escala.