Anàlisis d'optimització CPU i GPU

[amartinezcsuc]

Anàlisis d'optimització CPU i GPU

📋 Resum

Aquesta PR afegeix anàlisis exhaustives de dues estratègies d'optimització per millorar significativament el rendiment de bat_tracker:

1. Paral·lelització CPU - Soluciona el problema de processament seqüencial (speedup esperat: 10-20×)
2. Optimització GPU - Millora l'ús de GPU en detecció (speedup esperat: 10-20%)

🔍 Problema Identificat

Paral·lelització CPU

• Situació actual: Processament 100% seqüencial → només 1 core utilitzat
• Evidència: Temps d'execució idèntic independentment dels cores disponibles:
  • Desktop (12 cores, 16GB RAM): 14 minuts
  • HPC (32 cores): 14 minuts (mateix temps!)
  • HPC (192 cores, 300GB RAM): 20 minuts (pitjor per overhead)
• Utilització CPU actual: 8-10% (1 de 12/32/192 cores)

GPU

• Pipeline híbrid CPU/GPU amb transferències innecessàries
• Morphology (open/close) es fa a CPU després de baixar de GPU

💡 Solucions Proposades

1. Paral·lelització CPU (PRIORITAT ALTA 🔥)

Recomanació: Option 3 (Joblib Parallel)

Speedup esperat:

• Desktop (12 cores): 14 min → 2-2.5 min (6-7×)
• HPC (32 cores): 14 min → 45-60 s (14-19×)
• HPC (192 cores): 20 min → 30-45 s (20-35×)

Per què Joblib?

• API elegant i pythonic
• Gestió memòria automàtica i superior
• Error handling excel·lent
• Industria standard (scikit-learn, scipy)
• Escalabilitat provada (1 core → milers)

Alternatives analitzades:

• Option 1: multiprocessing.Pool (acceptable, API més primitiva)
• Option 2: Threading (❌ GIL impedeix speedup real)
• Option 4: Dask (❌ overengineering per aquest cas)

2. Optimització GPU (PRIORITAT MITJANA 🟡)

Recomanació: Option 1 (Morphology a GPU)

Speedup esperat: 10-20%

Què fa?

• Passa operacions morfològiques (open/close) a GPU
• Elimina 2.4 MB transferències GPU↔CPU per frame
• Usa cp.ndimage.maximum_filter i cp.ndimage.minimum_filter (pre-compilats, zero JIT)

Alternatives analitzades:

• Option 2: Full GPU pipeline (❌ risc JIT, OpenCV CPU molt ràpid)
• Option 3: GPU on-demand (❌ overengineering)
• Option 4: Batch processing (❌ refactor massa gran)

📁 Estructura de Documentació

S'ha reorganitzat docs/ per claredat:

docs/
├── README.md                          # Actualitzat amb prioritats
│
├── cpu/                               # Paral·lelització CPU (NOU)
│   ├── parallelization-analysis.md   # Anàlisi exhaustiva (55 KB)
│   └── parallelization-options-summary.md  # Resum ràpid (6.4 KB)
│
├── gpu/                               # Optimització GPU (reorganitzat)
│   ├── gpu-optimization-analysis.md  # Anàlisi exhaustiva (40 KB)
│   └── gpu-options-summary.md        # Resum ràpid (3.5 KB)
│
├── benchmarks/
├── validation/
└── architecture/

📊 Impacte Esperat

Mètrica	Baseline	Desktop (12c)	HPC (32c)	HPC (192c)
Temps total	14 min	2-2.5 min	45-60 s	30-45 s
Speedup	1×	6-7×	14-19×	20-35×
Utilització CPU	8-10%	75-85%	70-80%	50-70%
Throughput	218 fps	1300-1500 fps	3000-4000 fps	4000-6000 fps

🛣️ Roadmap d'Implementació

Paral·lelització CPU (ETA: 2 setmanes)

1. Phase 1 (2 dies): POC amb 10.000 frames, validar speedup
2. Phase 2 (1-2 dies): Optimització memòria (chunk size adaptatiu)
3. Phase 3 (2-3 dies): Suport GPU multi-worker
4. Phase 4 (2 dies): Benchmark complet HPC (32 i 192 cores)
5. Phase 5 (1 dia): Integració CLI i documentació

Optimització GPU (ETA: 1-2 setmanes, després de CPU)

1. Phase 1 (1 dia): Benchmark baseline actual
2. Phase 2 (2 dies): Implementar morphology GPU
3. Phase 3 (2 dies): Validació rigorosa (parity checking)
4. Phase 4 (1 dia): Benchmark post-canvi i mesurar speedup
5. Phase 5 (1 setmana): Rollout gradual a producció

🎯 Prioritats Actualitzades

1. 🔥 Paral·lelització CPU (ALTA) - speedup 10-20×, esforç 2 setmanes
2. 🟡 Optimització GPU (MITJANA) - speedup 10-20%, esforç 1-2 setmanes
3. ⚪ Altres optimitzacions (BAIXA) - valid region, tracking, etc.

📝 Metodologia d'Anàlisi

Totes les anàlisis segueixen metodologia Ultra-Think:

• ✅ Anàlisi exhaustiva de 4 opcions per cada problema
• ✅ Matriu de decisió ponderada (risc, benefici, complexitat)
• ✅ Adversarial testing (red team analysis)
• ✅ Cross-domain insights (paral·lels amb altres dominis)
• ✅ Second-order effects (impacte a 6 mesos, 2 anys, 10 anys)
• ✅ Roadmap detallat amb mètriques d'èxit

🚀 Quick Win Immediat

Abans d'implementar, es pot provar configuració OpenMP (zero canvis codi):

export OMP_NUM_THREADS=12
export OPENBLAS_NUM_THREADS=12
export MKL_NUM_THREADS=12
python -m bat_tracker --input video.mp4 --output results/

Speedup esperat: 2-3× (no 20×, però zero esforç)

📚 Referències

CPU / Paral·lelització

• Joblib Documentation
• Python Multiprocessing
• Embarrassingly Parallel Problems
• Amdahl's Law

GPU

• CuPy Documentation
• CUDA Best Practices

✅ Checklist

• Anàlisi exhaustiva CPU amb 4 opcions
• Anàlisi exhaustiva GPU amb 4 opcions
• Documentació organitzada en carpetes cpu/ i gpu/
• Resums de referència ràpida per cada anàlisi
• Roadmaps detallats amb fases i mètriques
• README actualitzat amb prioritats
• Tots els documents en català
• POC de paral·lelització (pendent implementació)
• Benchmark en HPC real (pendent implementació)

💬 Notes

Aquesta PR conté només documentació i anàlisis. No inclou canvis de codi implementats (excepte la migració a CuPy ja feta). Les implementacions es faran en PRs posteriors seguint els roadmaps proposats.

---

Tipus de PR: 📚 Documentació / Anàlisi tècnica
Impacte esperat: Alto (guia per futures optimitzacions majors)
Breaking changes: No
Requereix testing: No (només documentació)