La carga de datos es una parte crucial del proceso de ETL (Extract-Transform-Load) o ELT:

• Extraer los datos desde las fuentes originales (ERP, CRM, archivos, APIs, etc.).
• Transformar esos datos aplicando reglas de negocio, conversiones, validaciones, limpieza, enriquecimiento, etc.
• Cargar los datos transformados en el destino final, que suele ser un Data Warehouse.

En la variante ELT, los datos se cargan primero y se transforman directamente dentro del Data Warehouse, aprovechando su potencia de procesamiento.

Aunque existen múltiples tipos de carga de datos:

• Carga Completa (Full Load)
• Carga Incremental
• Carga Delta
• Carga por Lote (Batch Load)
• Carga en Tiempo Real (Streaming Load)
• Carga Manual
• Carga Condicional
• Carga CDC (Change Data Capture)
• Carga Programada (Scheduled Load)
• Carga Push vs Pull
• Carga Parcial / Selectiva
• Carga Inicial (Initial Load)

En este artículo haremos foco en los cuatro tipos de carga que más me ha tocado implementar en proyectos de integración de datos en entornos empresariales:

1. Carga Completa (Full Load)

La carga completa consiste en eliminar todos los datos existentes en la tabla de destino y volver a cargarlos completamente desde la fuente.
Es el enfoque más sencillo de implementar, pero también el más costoso en términos de tiempo de ejecución y uso de recursos.
Suele utilizarse en fases iniciales de un proyecto, cuando los volúmenes de datos aún no son elevados o cuando no es viable detectar los cambios realizados en los datos de origen.

2. Carga Incremental

En la carga incremental, solo se cargan los datos nuevos o modificados desde la última ejecución.
Esto permite optimizar el rendimiento del proceso, reduciendo considerablemente el volumen de datos procesado.
Para implementarla, se suele usar una marca de tiempo (timestamp) o un identificador incremental que indique los nuevos registros o los actualizados.

3. Carga Delta

Muy similar a la carga incremental, pero con una diferencia clave: además de identificar los registros nuevos o modificados, también se detectan los registros eliminados en el origen.
Requiere una lógica más compleja, ya que el sistema debe llevar un control del estado anterior de los datos.
Es especialmente útil cuando necesitamos mantener una copia exacta del origen en el destino.

4. Carga en Tiempo Real (Streaming Load)

Este tipo de carga implica la ingestión continua de datos a medida que se generan en las fuentes.
Suele aplicarse en casos donde la inmediatez es clave, como en sistemas de monitorización, IoT o análisis de eventos.
Para ello, se utilizan herramientas de streaming como Apache Kafka, Azure Event Hubs o Amazon Kinesis, entre otros.