Feat/anonimyze files

[armandliegey]

Cette MR étend la protection des données sensibles aux fichiers envoyés aux fournisseurs d’IA, aussi bien depuis l’AI Workspace que directement via le proxy OpenAI/Anthropic.

Changements principaux

• Ajout d’un sidecar local Presidio pour extraire, anonymiser puis reconstruire les fichiers :
  • PDF ;
  • DOCX ;
  • XLS/XLSX ;
  • CSV/TXT ;
  • images avec OCR.
• Remplacement des données sensibles textuelles par les mêmes pseudonymes persistants que ceux utilisés dans les prompts.
• Masquage irréversible des données détectées par OCR dans les images et les PDF scannés.
• Anonymisation des fichiers inline et des uploads multipart vers /v1/files.
• Persistance des identifiants de fichiers déjà anonymisés afin de sécuriser leur réutilisation.
• Gestion configurable des échecs avec les politiques remove, reject et passthrough.
• Exécution en parallèle de l’analyse NER des prompts et du traitement des fichiers pour limiter la latence.

AI Workspace

• Ajout de pièces jointes par sélection ou glisser-déposer.
• Prise en charge des PDF, documents Office, fichiers texte, CSV et images.
• Prévisualisation du fichier sélectionné et possibilité de le retirer avant l’envoi.
• Conservation sécurisée des pièces jointes anonymisées dans les conversations.
• Envoi natif des fichiers lorsque le fournisseur le permet, avec fallback textuel dans les autres cas.
• Affichage d’un avertissement lorsqu’un fichier est retiré ou non conservé après un échec d’anonymisation.
• Correction du rendu Markdown des tableaux/listes imbriqués dans des tableaux JavaScript.

Proxy et observabilité

• Augmentation de la taille maximale des requêtes à 50 MiB.
• Ajout de mesures détaillées sur les différentes étapes :
  • anonymisation de la requête ;
  • analyse NER ;
  • traitement Presidio ;
  • appel au fournisseur ;
  • traitement de la réponse.
• Suppression de la journalisation brute du contenu des requêtes afin de ne pas exposer de données sensibles.
• Ajout du support des uploads de fichiers OpenAI et Anthropic.

Configuration

Ajout des variables suivantes :

KLOVIS_PRESIDIO_MODE=full
KLOVIS_PRESIDIO_URL=http://presidio:8092
KLOVIS_PRESIDIO_TIMEOUT=60s
KLOVIS_PRESIDIO_MAX_FILE_BYTES=52428800
KLOVIS_PRESIDIO_FAILURE_POLICY=remove
KLOVIS_PRESIDIO_OCR_LANG=eng+fra

Le sidecar Presidio est intégré à Docker Compose ainsi qu’au script de démarrage local.

Tests

• Couverture du client d’anonymisation de fichiers.
• Tests des pièces jointes et de leur persistance dans l’AI Workspace.
• Tests des fichiers inline et des uploads multipart OpenAI/Anthropic.
• Vérification des différentes politiques d’échec.
• Vérification de l’exécution parallèle entre NER et anonymisation des fichiers.
• Vérification de la restauration des réponses et de la conservation de l’ordre des contenus.