Conector de origen

Conector de Apache Spark

Integración de Apache Spark con bases de datos, warehouses y herramientas de BI

Motor distribuido para procesamiento de datos a gran escala. Datrise captura entidades de Apache Spark como jobs, etapas, tareas, executors, consultas SQL y métricas de aplicación, y luego entrega modelos normalizados y tipados para reporting en warehouse, atribución y flujos de IA.

De los 6 objetos, 4 se sincronizan con upsert por clave primaria y 2 como flujos append-only, de modo que cada ejecución incremental solo mueve lo que cambió desde la última marca de agua. Cada objeto llega a su propia tabla (por ejemplo `apache_spark_jobs`) con el esquema derivado de la API de Apache Spark, no de un CSV, en cualquiera de los 43 destinos soportados.

Datrise está en acceso anticipado: elige un destino abajo para ver el pipeline de Apache Spark y únete a la lista de espera para recibir el conector con onboarding guiado.

Sincronización incrementalMapeo consciente del esquema43 destinos disponibles

Qué datos de Apache Spark extrae Datrise

Cada objeto llega a su propia tabla tipada. El modo de sync se deriva del objeto: los objetos de historial se anexan, el resto se actualiza con upsert.

Objeto	Tabla de destino	Modo de sync
jobs	apache_spark_jobs	Append incremental por marca de tiempo
stages	apache_spark_stages	Upsert por clave primaria, incremental por updated-at
tasks	apache_spark_tasks	Upsert por clave primaria, incremental por updated-at
executors	apache_spark_executors	Upsert por clave primaria, incremental por updated-at
SQL queries	apache_spark_sql_queries	Upsert por clave primaria, incremental por updated-at
application metrics	apache_spark_application_metrics	Append incremental por marca de tiempo

Destinos populares para Apache Spark

Elige un destino abajo para abrir la página de pipeline lista para usar.

A
Airtable
Destino de hoja relacional para equipos de operaciones y go-to-market.
Ver pipeline
A
Amazon Athena
SQL serverless sobre tablas del data lake en S3.
Ver pipeline
A
Amazon DynamoDB
Base key-value y documental serverless en AWS.
Ver pipeline
A
Amazon QuickSight
BI serverless en AWS con SPICE y analítica embebida.
Ver pipeline
A
Amazon Redshift
Almacén a escala petabyte en AWS con Spectrum.
Ver pipeline
A
Amazon S3 Data Lake
Zona de aterrizaje en object storage para parquet y snapshots.
Ver pipeline
A
Apache Superset
BI open source para exploración SQL, gráficos y publicación de dashboards.
Ver pipeline
A
Archivos CSV
Destino de archivos planos para exportaciones y compartición ligera.
Ver pipeline
A
Azure Data Lake Storage
Almacenamiento ADLS Gen2 para cargas analíticas.
Ver pipeline

Preguntas sobre el conector de Apache Spark

¿Qué datos de Apache Spark extrae el conector?: 6 objetos: jobs, stages, tasks, executors, SQL queries y application metrics. Cada uno se carga en su propia tabla con tipos preservados; los objetos con historial (2: jobs y application metrics) se cargan como append-only.
¿La integración de Apache Spark es incremental?: Sí. Tras la carga inicial completa, cada ejecución lee solo los registros cambiados desde la última marca de agua (updated-at o timestamp del evento) y aplica upsert o append según el objeto.
¿A dónde puedo cargar los datos de Apache Spark?: A 43 destinos: bases de datos relacionales, warehouses, data lakes, hojas de cálculo y herramientas de BI. Cada par Apache Spark → destino tiene su propia página con el mapeo de objetos a tablas.

Otras fuentes de

Otras fuentes de la misma categoría, cada una con su propia página de conector.

Acceso anticipado

Lanza tu pipeline de Apache Spark con onboarding guiado

Únete a la lista de espera para obtener acceso prioritario a integraciones de Apache Spark con setup guiado, mapeo consciente del esquema y sincronización incremental de nivel producción.