Limpador de documentos para RAG

O que o limpador remove e por que importa

Todo o PDF longo traz mobiliário: o cabeçalho com o título do relatório, o rodapé com um aviso de confidencialidade, o número de página a subir no canto. Para um leitor humano esse mobiliário é orientação. Para um modelo de incorporação é ruído repetido com toda a força em cada página, por isso a mesma linha de cabeçalho é fragmentada, incorporada e armazenada dezenas de vezes, diluindo os vetores que deveriam descrever o conteúdo real e aparecendo nos resultados de recuperação como se fosse informação. Este limpador trata o mobiliário como um problema de deteção com uma regra simples e inspecionável: uma linha curta que aparece em pelo menos sessenta por cento das páginas (e em pelo menos duas) é listada como candidata a remoção, e você decide se ela sai. Nada é removido em silêncio — cada candidata é mostrada com o seu texto, as suas páginas e a sua contagem antes de a marcar ou desmarcar.

Os números de página têm a sua própria candidata porque nunca se repetem literalmente: a página um diz 1, a página dois diz 2, por isso uma regra de repetição nunca os apanharia, e no entanto um fragmento que termina com um número solto ou uma linha de “Página 7 de 40” não ensina nada à incorporação e pode confundir um modelo que o cite de volta como um facto. O limpador reconhece os padrões comuns — um número solto igual à página em que está, e as formas “N de M” e “N / M” — e agrupa cada correspondência numa única candidata. Os parágrafos duplicados são a terceira classe: a exoneração repetida, o resumo duplicado ou a secção copiada que aparece duas vezes num documento. Os duplicados nunca são marcados por defeito, porque um parágrafo repetido às vezes é deliberado — um aviso que tem de aparecer em dois capítulos, por exemplo —, por isso o limpador assinala-os e deixa-lhe a decisão, conservando a primeira ocorrência quando os remove.

Como funciona a extração e onde ela é aproximada

A extração é aproximada, e esta página não fingirá o contrário. O limpador descodifica os fluxos de conteúdo do PDF localmente, lê as operações que mostram texto e trata cada sequência de texto mostrado como uma linha. Esse modelo é rápido e chega para relatórios, manuais e artigos produzidos por processadores de texto e exportadores comuns, mas tem limites honestos: os esquemas de várias colunas podem sair por ordem de armazenamento e não de leitura, as ligaduras e as codificações de tipo de letra personalizadas podem deformar caracteres soltos, e um PDF digitalizado — cujas páginas são fotografias, não texto — não produz linha nenhuma. Quando isso acontece, a ferramenta diz isso claramente em vez de inventar resultados: um resultado de zero linhas significa que o documento precisa de OCR antes de qualquer limpador poder ajudar. A deteção de mobiliário nesta primeira versão também ignora a posição: uma linha curta é julgada por em quantas páginas se repete, não por onde está na página, por isso um título curto genuinamente repetido dentro do corpo pode ser listado — e é exatamente por isso que cada candidata é sua para desmarcar.

A saída é construída para o passo seguinte de uma canalização RAG. A descarga de texto limpo junta as linhas sobreviventes página a página com uma linha em branco entre páginas, para que possa lê-lo, compará-lo ou dá-lo ao seu próprio divisor. A descarga JSONL vai um passo mais longe: empacota o texto limpo em fragmentos de cerca de oitocentos caracteres, dividindo por limites de parágrafo em vez de a meio da frase sempre que pode, e escreve um objeto JSON por linha na forma {"text": "..."} — a forma que a maioria dos scripts de incorporação e dos carregadores de armazéns vetoriais aceitam diretamente. O tamanho do fragmento é um compromisso, não uma lei: oitocentos caracteres é pequeno o suficiente para um fragmento cobrir normalmente uma ideia, e grande o suficiente para a ideia conservar o seu contexto. O artigo complementar explica o tamanho, a sobreposição e os limites com mais pormenor.

A privacidade e o âmbito são deliberadamente estreitos. O ficheiro é analisado nesta página, no seu dispositivo; analisá-lo não faz nenhum pedido de rede, por isso relatórios internos, rascunhos de contratos e documentos pessoais ficam onde estão. A primeira versão aceita apenas PDF, porque é onde o problema do mobiliário é pior e onde um analisador local no navegador ainda consegue recuperar o texto com fiabilidade; as fontes de processador de texto e HTML limpam-se melhor nas ferramentas que as produziram, ou convertendo-as primeiro para PDF. O limpador também não julga a qualidade: não resumirá, reescreverá nem corrigirá o texto que conserva, e não decide se um documento merece ser incorporado. Faz um trabalho mecânico — retirar o que se repete, conservar o que é único, entregar-lhe fragmentos — e mostra o seu trabalho em cada passo, para que as decisões de critério fiquem com quem conhece o documento.

As três classes de candidata, num relance