Conector de origem

Conector Apache Spark

Integração do Apache Spark com bancos de dados, warehouses e ferramentas de BI

Motor distribuído para processamento de dados em larga escala. A Datrise captura entidades do Apache Spark como jobs, estágios, tarefas, executors, consultas SQL e métricas de aplicação, e entrega modelos normalizados e tipados para reporting em warehouse, atribuicao e fluxos de IA.

Dos 6 objetos, 4 sincronizam com upsert por chave primária e 2 como fluxos append-only, então cada execução incremental move só o que mudou desde a última marca d'água. Cada objeto chega na própria tabela (por exemplo `apache_spark_jobs`) com esquema derivado da API do Apache Spark, não de um CSV, em qualquer um dos 43 destinos suportados.

A Datrise está em acesso antecipado: escolha um destino abaixo para ver o pipeline do Apache Spark e entre na lista de espera para receber o conector com onboarding guiado.

Sync incrementalMapeamento orientado a schema43 destinos disponíveis

Quais dados do Apache Spark a Datrise extrai

Cada objeto chega na própria tabela tipada. O modo de sync deriva do objeto: objetos de histórico fazem append, o restante faz upsert.

Objeto	Tabela de destino	Modo de sync
jobs	apache_spark_jobs	Append incremental por timestamp
stages	apache_spark_stages	Upsert por chave primária, incremental por updated-at
tasks	apache_spark_tasks	Upsert por chave primária, incremental por updated-at
executors	apache_spark_executors	Upsert por chave primária, incremental por updated-at
SQL queries	apache_spark_sql_queries	Upsert por chave primária, incremental por updated-at
application metrics	apache_spark_application_metrics	Append incremental por timestamp

Destinos populares para Apache Spark

Escolha um destino abaixo para abrir a pagina de pipeline pronta.

A
Airtable
Destino de planilha relacional para equipes de operações e go-to-market.
Ver pipeline
A
Amazon Athena
SQL serverless sobre tabelas do data lake no S3.
Ver pipeline
A
Amazon DynamoDB
Banco key-value e documental serverless na AWS.
Ver pipeline
A
Amazon QuickSight
BI serverless na AWS com SPICE e analytics embutido.
Ver pipeline
A
Amazon Redshift
Warehouse em escala petabyte na AWS com Spectrum.
Ver pipeline
A
Amazon S3 Data Lake
Zona de landing em object storage para parquet e snapshots.
Ver pipeline
A
Apache Superset
BI open source para exploração SQL, gráficos e publicação de dashboards.
Ver pipeline
A
Arquivos CSV
Destino de arquivos planos para exports e compartilhamento leve.
Ver pipeline
A
Azure Data Lake Storage
Armazenamento ADLS Gen2 para cargas analíticas.
Ver pipeline

Perguntas sobre o conector Apache Spark

Quais dados do Apache Spark o conector extrai?: 6 objetos: jobs, stages, tasks, executors, SQL queries e application metrics. Cada um vai para a própria tabela com tipos preservados; objetos com histórico (2: jobs e application metrics) são carregados como append-only.
A integração do Apache Spark é incremental?: Sim. Depois da carga inicial completa, cada execução lê só os registros alterados desde a última marca d'água (updated-at ou timestamp do evento) e aplica upsert ou append conforme o objeto.
Para onde posso carregar os dados do Apache Spark?: Para 43 destinos: bancos relacionais, warehouses, data lakes, planilhas e ferramentas de BI. Cada par Apache Spark → destino tem a própria página com o mapeamento de objetos para tabelas.

Outras fontes de

Outras fontes da mesma categoria, cada uma com a própria página de conector.

Acesso antecipado

Lance seu pipeline de Apache Spark com onboarding guiado

Entre na lista de espera para ter acesso prioritário às integrações de Apache Spark com setup guiado, mapeamento orientado a schema e sync incremental de nível produção.