Processamento de documentos - Document processing

O processamento de documentos é um campo de pesquisa e um conjunto de processos de produção voltados para a digitalização de um documento analógico . O processamento de documentos não visa simplesmente fotografar ou digitalizar um documento para obter uma imagem digital , mas também torná-lo digitalmente inteligível. Isso inclui extrair a estrutura do documento ou layout e, em seguida, o conteúdo, que pode assumir a forma de texto ou imagens. O processo pode envolver algoritmos tradicionais de visão computacional , redes neurais convolucionais ou trabalho manual. Os problemas abordados estão relacionados à segmentação semântica , detecção de objetos , reconhecimento óptico de caracteres (OCR) , reconhecimento de texto manuscrito (HTR) e, mais amplamente, transcrição , automática ou não. O termo também pode incluir a fase de digitalização do documento usando um scanner e a fase de interpretação do documento, por exemplo, usando processamento de linguagem natural (PNL) ou tecnologias de classificação de imagem . É aplicado em muitos campos industriais e científicos para a otimização de processos administrativos, processamento de correio e digitalização de arquivos analógicos e documentos históricos.

Fundo

O processamento de documentos era inicialmente, como ainda é até certo ponto, uma espécie de trabalho de linha de produção, lidando com o tratamento de documentos , como cartas e encomendas, com o objetivo de classificar, extrair ou extrair maciçamente dados. Esse trabalho pode ser realizado internamente ou por meio da terceirização de processos de negócios . O processamento de documentos pode, de fato, envolver algum tipo de trabalho manual externalizado, como trabalho mecânico .

Como um exemplo de processamento manual de documentos, relativamente recente em 2007, o processamento de documentos para "milhões de solicitações de vistos e cidadania" era sobre o uso de "aproximadamente 1.000 trabalhadores contratados" trabalhando para "gerenciar a sala de correspondência e entrada de dados ".

Enquanto o processamento de documentos envolvia entrada de dados via teclado bem antes do uso de um mouse ou scanner de computador , um artigo de 1990 no The New York Times sobre o que chamou de " escritório sem papel " afirmou que "o processamento de documentos começa com o scanner". Nesse contexto, um ex -vice-presidente da Xerox , Paul Strassman, expressou uma opinião crítica, dizendo que os computadores adicionam ao invés de reduzir o volume de papel em um escritório. Foi dito que os documentos de engenharia e manutenção de um avião pesam "mais do que o próprio avião".

Processamento automático de documentos

À medida que o estado da arte avançava, o processamento de documentos passou a lidar com "componentes de documentos ... como entidades de banco de dados".

Uma tecnologia chamada processamento automático de documentos ou, às vezes, processamento inteligente de documentos (IDP) surgiu como uma forma específica de Intelligent Process Automation (IPA), combinando inteligência artificial , como Machine Learning (ML), Natural Language Processing (NLP) ou Intelligent Character Recognition (ICR ) para extrair dados de vários tipos de documentos.

Formulários

O processamento automático de documentos se aplica a uma ampla gama de documentos, sejam eles estruturados ou não. Por exemplo, no mundo dos negócios e das finanças, as tecnologias podem ser usadas para processar faturas em papel, formulários, ordens de compra, contratos e notas fiscais. As instituições financeiras usam o processamento inteligente de documentos para processar grandes volumes de formulários, como formulários regulatórios ou documentos de empréstimo. O IDP usa IA para extrair e classificar dados de documentos, substituindo a entrada manual de dados.

Na medicina, foram desenvolvidos métodos de processamento de documentos para facilitar o acompanhamento dos pacientes e agilizar os procedimentos administrativos, em particular por meio da digitalização de relatórios de análises médicas ou laboratoriais. O objetivo também é padronizar os bancos de dados médicos. Os algoritmos também são usados ​​diretamente para auxiliar os médicos no diagnóstico médico, por exemplo, analisando imagens de ressonância magnética ou imagens microscópicas .

O processamento de documentos também é amplamente utilizado nas ciências humanas e digitais , a fim de extrair grandes volumes de dados históricos de arquivos ou coleções de patrimônio. Abordagens específicas foram desenvolvidas para várias fontes, incluindo documentos textuais, como arquivos de jornais, mas também imagens ou mapas.

Tecnologias

Se, a partir da década de 1980, os algoritmos tradicionais de visão computacional foram amplamente usados ​​para resolver problemas de processamento de documentos, eles foram gradualmente substituídos por tecnologias de rede neural na década de 2010. No entanto, as tecnologias tradicionais de visão computacional ainda são usadas, às vezes em conjunto com redes neurais, em alguns setores.

Muitas tecnologias suportam o desenvolvimento do processamento de documentos, em particular o reconhecimento óptico de caracteres (OCR) e o reconhecimento de texto manuscrito (HTR), que permitem que o texto seja transcrito automaticamente. Os segmentos de texto são identificados por meio de algoritmos de detecção de instância ou objeto , que às vezes também podem ser usados ​​para detectar a estrutura do documento. A resolução do último problema às vezes também usa algoritmos de segmentação semântica .

Essas tecnologias geralmente formam o núcleo do processamento de documentos. No entanto, outros algoritmos podem intervir antes ou depois desses processos. Na verdade, as tecnologias de digitalização de documentos também estão envolvidas, seja na forma de digitalização clássica ou tridimensional. A digitalização de documentos 3D pode, em particular, recorrer a derivados da fotogrametria . Às vezes, scanners 2D específicos também devem ser desenvolvidos para se adaptar ao tamanho dos documentos ou por razões de ergonomia de digitalização. O processamento do documento também depende da codificação digital dos documentos em um formato de arquivo adequado . Além disso, o processamento de bancos de dados heterogêneos pode contar com tecnologias de classificação de imagens .

Na outra extremidade da cadeia estão vários algoritmos de conclusão de imagem, extrapolação ou limpeza de dados. Para documentos textuais, a interpretação pode usar tecnologias de processamento de linguagem natural (PNL).

Veja também

Referências