Automação de tarefas analíticas repetitivas com IA Generativa: geração de SQL, documentação de pipelines e relatórios de qualidade de dados — demonstrando os mesmos conceitos do Databricks Genie via API.
Engenheiros de dados gastam tempo excessivo em tarefas repetitivas que não agregam valor intelectual:
| Tarefa | Tempo Manual | Com GenAI |
|---|---|---|
| Escrever 3 queries SQL | ~30 min | ~10 seg |
| Documentar pipeline | ~45 min | ~15 seg |
| Relatório de qualidade | ~20 min | ~10 seg |
Engenheiro descreve o que precisa em português → LLM gera SQL otimizado para Spark SQL com comentários.
PySpark code → Documentação técnica estruturada em Markdown com inputs, outputs e observações.
Métricas de qualidade → Relatório executivo classificado (Excelente/Boa/Regular/Crítica) com ações corretivas.
Este projeto usa a Gemini API como proxy para demonstrar os mesmos princípios que o Databricks Genie aplica nativamente dentro da plataforma:
- NL → SQL com contexto do catálogo de dados
- Documentação automática de notebooks
- Análise de qualidade via linguagem natural
pip install google-generativeai pandas
export GEMINI_API_KEY="sua_chave" # aistudio.google.com (gratuito)
jupyter notebook notebooks/genai_automation.ipynbSem API Key: roda em modo simulado com outputs pré-computados.
Python · Google Gemini API · Prompt Engineering · Databricks Genie · Pandas