Engenheiro de Dados

Victor
Pasqualini

Engenheiro de Dados construindo pipelines de larga escala na nuvem. Migro sistemas legados, processo terabytes por dia com Spark, Kafka, Airflow e Databricks, e entrego pipelines consistentes na AWS e no GCP, com integridade e qualidade de ponta a ponta.

Currículo (PDF)GitHub LinkedIn WhatsApp

São Paulo, Brasil

Especialista de Dados.

Sou Engenheiro de Dados há mais de 5 anos, desenhando e operando pipelines em arquiteturas cloud. Trabalho com migração de sistemas legados, de ambientes on-premise Cloudera, Hadoop/Hive a mainframes Cobol/IBM DB2, para plataformas de dados modernas como Databricks, com processamento ETL/ELT em Spark e infraestrutura na AWS e no GCP.

Passando por bureaus de crédito, mercado de capitais e consultorias, construí lakehouses medallion sobre 20+ TB de ingestão diária, reduzi em 40% o tempo de processamento batch no Databricks e sustentei 90% de SLA em pipelines dos quais outros times dependem. Qualidade, integridade e disponibilidade dos dados são a parte do trabalho que mais me importa, e open source é com o que construo isso.

Stack principal

SparkKafkaAirflowDatabricksIcebergDelta LakePythonScalaSQLNoSQLAWSGCPTerraform

Certificações

Confluent
- Data Streaming Engineer2026
MongoDB
- SI Associate2025

Experiência

Liderou migração complexa de pipeline mainframe (Cobol/IBM DB2) para AWS processando ingestão massiva de arquivos posicionais diários. Implementou validação e qualidade de dados com geração de tabelas consolidadas (bronze/silver/gold) para ML e outros produtos. Deploy em produção com dual-running entre ambientes, integrações via EventBridge, APIs REST e IaC com CloudFormation.
Spark (Scala/Python)DuckDBPandasPolarsPySparkEMREC2LambdaSQSMSKMWAAS3IcebergDeltaLakeAthenaRDS/AuroraDynamoDBDocumentDBGlueCatalogDatadogGrafanaCloudWatch
Serasa Experian ACT Digital
Manteve ecossistema Databricks com DLT, Unity Catalog e Delta Lake garantindo SLA de 90% de disponibilidade. Otimizou pipelines batch PySpark, reduzindo tempo de processamento em 40% através de query optimization. Implementou novo pipeline end-to-end utilizando PySpark, Kafka e APIs, colaborando com o time de Analytics para confiabilidade de dados.
DatabricksDLTUnityCatalogPySparkDeltaLakeKafkaPostgreSQLDjangoMetabasePowerBI
Vert Capital Stech Soluções
Arquiteto de Data Lake em Hadoop/AWS (20+ TB diários) liderando a migração on-premise para AWS. Entregou projetos de qualidade de dados, geração de leads, pipelines de crédito e alimentação de ML. Processamento incremental de arquivos XML/CSV on-premise e em AWS, com orquestração robusta de 100+ jobs diários e APIs REST.
Spark (Scala/PySpark/Java)HadoopAirflowKafkaNiFiCtrlMRabbitMQAWS (EC2, EMR, Glue, S3, Athena)HiveImpalaSqoopTerraformMySQLMongoDBOraclePowerBIElasticSearch
SPC Brasil

O que eu construí

★ 4

Sparquet

Framework open source de engenharia de dados para Apache Spark. Cada pipeline é um único contrato JSON declarativo: escreva na mão, gere com qualquer LLM, ou desenhe visualmente no Sparquet Studio.

Apache SparkPythonDelta Lake

Caso de uso

★ 3

Sparquet Cola

Qualidade de dados para Spark que roda onde seus dados já estão. Checks de métricas estilo SODA, regras em SQL, contratos de schema, mais uma separação válido/inválido que mostra qual regra rejeitou cada linha. PySpark puro, sem serviços extras.

Apache SparkPythonSQL

Caso de uso

Pulse

Um dashboard de finanças pessoais que lê a planilha que você já mantém no OneDrive. Receitas e despesas por mês, gastos por categoria e por semana, cartão de crédito, e uma tela só para investimentos, onde aportes não contam como gasto e rendimentos não contam como receita. Sem banco de dados, sem formato novo: ele mapeia as colunas que você já usa.

Next.jsReactTypeScript

Caso de uso

Pouch

Um bot cripto multi-estratégia construído sobre a premissa de que quase nada funciona: varre estratégias, valida cada sobrevivente em histórico que o otimizador nunca viu, e só então opera na Binance Spot Testnet (API real, dinheiro fictício).

PythonLightGBMFastAPI

Caso de uso

A stack do dia a dia

Linguagens
Python (PySpark, Pandas, Polars, DuckDB)ScalaJavaSQLCobolRust
ETL / ELT
Spark (Batch/Streaming)FlinkGlueEMREC2 (spot)LambdaSqoopDataFusion CometDatabricksPhotonSnowflakedbtCompute EngineCloud FunctionsIncrementalCDC
Mensageria
KafkaSQSMSKRabbitMQRedpanda
Orquestração
AirflowMWAAEventBridgeStep FunctionsComposerCtrlMNiFiDatabricks DLTDatabricks Workflows
Storage e Lakehouse
S3GlueCatalogIcebergHadoopKuduBigQueryCloud StorageDeltaLakeUnityCatalogArquitetura Medalhão
Banco de Dados
RDS/AuroraPostgreSQLMySQLDynamoDBMongoDBDocumentDBOracleIBM DB2
Infra
TerraformTerragruntCloudFormation
Analytics e Observabilidade
DatadogGrafanaMetabasePowerBIHiveImpalaElasticSearchCloudWatchAthena
Outros
CI/CD (Cockpit)Git (GitLab, Bitbucket)Linux (Shell/Bash Script)