Nettoyeur de documents pour RAG

Ce que le nettoyeur retire, et pourquoi cela compte

Tout long PDF transporte du mobilier : l’en-tête avec le titre du rapport, le pied avec un avis de confidentialité, le numéro de page qui grimpe dans le coin. Pour un lecteur humain, ce mobilier est un repère. Pour un modèle de plongement, c’est du bruit répété à pleine force sur chaque page, si bien que la même ligne d’en-tête est découpée, plongée et stockée des dizaines de fois, diluant les vecteurs qui devraient décrire le contenu réel et surgissant dans les résultats de récupération comme si c’était de l’information. Ce nettoyeur traite le mobilier comme un problème de détection avec une règle simple et inspectable : une ligne courte qui apparaît sur au moins soixante pour cent des pages (et sur au moins deux) est listée comme candidate au retrait, et vous décidez si elle part. Rien n’est retiré en silence — chaque candidate est montrée avec son texte, ses pages et son compte avant que vous la cochiez ou la décochiez.

Les numéros de page ont leur propre candidate parce qu’ils ne se répètent jamais littéralement : la page un dit 1, la page deux dit 2, donc une règle de répétition ne les attraperait jamais, et pourtant un fragment qui se termine par un nombre solitaire ou une ligne « Page 7 sur 40 » n’apprend rien au plongement et peut troubler un modèle qui le cite comme un fait. Le nettoyeur reconnaît les motifs courants — un nombre solitaire égal à la page où il se trouve, et les formes « N sur M » et « N / M » — et regroupe chaque correspondance en une seule candidate. Les paragraphes en double sont la troisième classe : la clause répétée, le résumé dupliqué ou la section copiée qui apparaît deux fois dans un document. Les doublons ne sont jamais cochés par défaut, parce qu’un paragraphe répété est parfois délibéré — un avertissement qui doit figurer dans deux chapitres, par exemple —, donc le nettoyeur les signale et vous laisse la décision, en conservant la première occurrence quand vous les retirez.

Comment fonctionne l’extraction, et où elle est approximative

L’extraction est approximative, et cette page ne prétendra pas le contraire. Le nettoyeur décode les flux de contenu du PDF localement, lit les opérations d’affichage de texte et traite chaque ensemble de texte affiché comme une ligne. Ce modèle est rapide et suffit pour les rapports, manuels et articles produits par les traitements de texte et exportateurs ordinaires, mais il a des limites honnêtes : les mises en page en plusieurs colonnes peuvent sortir dans l’ordre de stockage plutôt que de lecture, les ligatures et les encodages de police personnalisés peuvent déformer des caractères isolés, et un PDF numérisé — dont les pages sont des photographies, pas du texte — ne produit aucune ligne. Quand cela arrive, l’outil le dit clairement au lieu d’inventer des résultats : un résultat à zéro ligne signifie que le document a besoin d’une ROC avant qu’un nettoyeur puisse aider. La détection du mobilier dans cette première version ignore aussi la position : une ligne courte est jugée sur le nombre de pages où elle se répète, pas sur sa place dans la page, donc un vrai titre court répété dans le corps pourrait être listé — et c’est exactement pourquoi chaque candidate est à vous de décocher.

La sortie est construite pour l’étape suivante d’un pipeline RAG. Le téléchargement du texte nettoyé joint les lignes survivantes page par page avec une ligne blanche entre les pages, pour que vous puissiez le lire, le comparer ou le donner à votre propre découpeur. Le téléchargement JSONL va un pas plus loin : il emballe le texte nettoyé en fragments d’environ huit cents caractères, en coupant aux frontières de paragraphe plutôt qu’au milieu d’une phrase chaque fois qu’il le peut, et écrit un objet JSON par ligne sous la forme {"text": "..."} — la forme que la plupart des scripts de plongement et des chargeurs de magasins vectoriels acceptent directement. La taille de fragment est un compromis, pas une loi : huit cents caractères, c’est assez petit pour qu’un fragment couvre en général une idée, et assez grand pour que l’idée garde son contexte. L’article compagnon explique la taille, le chevauchement et les frontières plus en profondeur.

La vie privée et la portée sont délibérément étroites. Le fichier est analysé dans cette page, sur votre appareil ; l’analyser ne fait aucune requête réseau, donc les rapports internes, les brouillons de contrats et les documents personnels restent où ils sont. La version un n’accepte que le PDF, parce que c’est là que le problème du mobilier est le pire et où un analyseur local au navigateur peut encore récupérer le texte de façon fiable ; les sources de traitement de texte et HTML se nettoient mieux dans les outils qui les ont produites, ou en les convertissant d’abord en PDF. Le nettoyeur ne juge pas non plus la qualité : il ne résumera, ne réécrira ni ne corrigera le texte qu’il conserve, et il ne décide pas si un document mérite d’être plongé. Il fait un travail mécanique — retirer ce qui se répète, garder ce qui est unique, vous remettre des fragments — et montre son travail à chaque étape, pour que les décisions de jugement restent à la personne qui connaît le document.

Les trois classes de candidates, en un coup d’œil