DatriseETL con IA

Conector de origen

Conector de PyPI

Integración de PyPI con bases de datos, warehouses y herramientas de BI

Metadatos y descargas del registro de paquetes de Python. Datrise captura entidades de PyPI como paquetes, releases, versiones, descargas, mantenedores y dependencias, y luego entrega modelos normalizados y tipados para reporting en warehouse, atribución y flujos de IA.

De los 6 objetos, 6 se sincronizan con upsert por clave primaria y 0 como flujos append-only, de modo que cada ejecución incremental solo mueve lo que cambió desde la última marca de agua. Cada objeto llega a su propia tabla (por ejemplo `pypi_packages`) con el esquema derivado de la API de PyPI, no de un CSV, en cualquiera de los 43 destinos soportados.

Datrise está en acceso anticipado: elige un destino abajo para ver el pipeline de PyPI y únete a la lista de espera para recibir el conector con onboarding guiado.

Sincronización incrementalMapeo consciente del esquema43 destinos disponibles

Qué datos de PyPI extrae Datrise

Cada objeto llega a su propia tabla tipada. El modo de sync se deriva del objeto: los objetos de historial se anexan, el resto se actualiza con upsert.

ObjetoTabla de destinoModo de sync
packagespypi_packagesUpsert por clave primaria, incremental por updated-at
releasespypi_releasesUpsert por clave primaria, incremental por updated-at
versionspypi_versionsUpsert por clave primaria, incremental por updated-at
download countspypi_download_countsUpsert por clave primaria, incremental por updated-at
maintainerspypi_maintainersUpsert por clave primaria, incremental por updated-at
dependenciespypi_dependenciesUpsert por clave primaria, incremental por updated-at

Destinos populares para PyPI

Elige un destino abajo para abrir la página de pipeline lista para usar.

  • A
    Airtable

    Destino de hoja relacional para equipos de operaciones y go-to-market.

    Ver pipeline
  • A
    Amazon Athena

    SQL serverless sobre tablas del data lake en S3.

    Ver pipeline
  • A
    Amazon DynamoDB

    Base key-value y documental serverless en AWS.

    Ver pipeline
  • A
    Amazon QuickSight

    BI serverless en AWS con SPICE y analítica embebida.

    Ver pipeline
  • A
    Amazon Redshift

    Almacén a escala petabyte en AWS con Spectrum.

    Ver pipeline
  • A
    Amazon S3 Data Lake

    Zona de aterrizaje en object storage para parquet y snapshots.

    Ver pipeline
  • A
    Apache Superset

    BI open source para exploración SQL, gráficos y publicación de dashboards.

    Ver pipeline
  • A
    Archivos CSV

    Destino de archivos planos para exportaciones y compartición ligera.

    Ver pipeline
  • A
    Azure Data Lake Storage

    Almacenamiento ADLS Gen2 para cargas analíticas.

    Ver pipeline

Preguntas sobre el conector de PyPI

¿Qué datos de PyPI extrae el conector?
6 objetos: packages, releases, versions, download counts, maintainers y dependencies. Cada uno se carga en su propia tabla con tipos preservados; los objetos con historial (0) se cargan como append-only.
¿La integración de PyPI es incremental?
Sí. Tras la carga inicial completa, cada ejecución lee solo los registros cambiados desde la última marca de agua (updated-at o timestamp del evento) y aplica upsert o append según el objeto.
¿A dónde puedo cargar los datos de PyPI?
A 43 destinos: bases de datos relacionales, warehouses, data lakes, hojas de cálculo y herramientas de BI. Cada par PyPI → destino tiene su propia página con el mapeo de objetos a tablas.

Otras fuentes de

Otras fuentes de la misma categoría, cada una con su propia página de conector.

Acceso anticipado

Lanza tu pipeline de PyPI con onboarding guiado

Únete a la lista de espera para obtener acceso prioritario a integraciones de PyPI con setup guiado, mapeo consciente del esquema y sincronización incremental de nivel producción.