Resposta a perguntas - Question answering

A resposta a perguntas ( QA ) é uma disciplina da ciência da computação nos campos de recuperação de informações e processamento de linguagem natural (PNL), que se preocupa com a construção de sistemas que respondem automaticamente a perguntas feitas por humanos em uma linguagem natural .

Visão geral

Uma implementação de resposta a perguntas, geralmente um programa de computador, pode construir suas respostas consultando um banco de dados estruturado de conhecimento ou informações, geralmente uma base de conhecimento . Mais comumente, os sistemas de resposta a perguntas podem obter respostas de uma coleção não estruturada de documentos de linguagem natural.

Alguns exemplos de coleções de documentos de linguagem natural usados ​​para sistemas de resposta a perguntas incluem:

  • uma coleção local de textos de referência
  • documentos da organização interna e páginas da web
  • relatórios compilados de notícias
  • um conjunto de páginas da Wikipedia
  • um subconjunto de páginas da World Wide Web

A pesquisa de resposta a perguntas tenta lidar com uma ampla gama de tipos de perguntas, incluindo: fatos, listas, definições , como , por que , hipotéticas, semanticamente restritas e perguntas multilíngues.

  • A resposta a perguntas de domínio fechado lida com perguntas sob um domínio específico (por exemplo, medicina ou manutenção automotiva) e pode explorar o conhecimento específico do domínio frequentemente formalizado em ontologias . Alternativamente, o domínio fechado pode se referir a uma situação em que apenas um tipo limitado de perguntas é aceito, como perguntas que pedem informações descritivas em vez de informações de procedimento . Sistemas de resposta a perguntas no contexto de aplicativos de leitura de máquina também foram construídos no domínio médico, por exemplo, relacionados à doença de Alzheimer.
  • A resposta a perguntas de domínio aberto lida com perguntas sobre quase tudo e só pode contar com ontologias gerais e conhecimento de mundo. Por outro lado, esses sistemas geralmente têm muito mais dados disponíveis dos quais extrair a resposta.

História

Dois primeiros sistemas de resposta a perguntas foram o BASEBALL e o LUNAR. O BASEBALL respondeu a perguntas sobre a liga da Major League Baseball por um período de um ano. O LUNAR, por sua vez, respondeu a perguntas sobre a análise geológica das rochas devolvidas pelas missões lunares da Apollo. Ambos os sistemas de resposta a perguntas foram muito eficazes em seus domínios escolhidos. Na verdade, o LUNAR foi demonstrado em uma convenção de ciência lunar em 1971 e foi capaz de responder 90% das perguntas em seu domínio feitas por pessoas não treinadas no sistema. Outros sistemas de resposta a perguntas de domínio restrito foram desenvolvidos nos anos seguintes. A característica comum de todos esses sistemas é que eles tinham um banco de dados central ou sistema de conhecimento escrito à mão por especialistas no domínio escolhido. As habilidades de linguagem do BASEBALL e LUNAR usaram técnicas semelhantes a ELIZA e DOCTOR , os primeiros programas chatterbot .

SHRDLU foi um programa de resposta a perguntas de grande sucesso desenvolvido por Terry Winograd no final dos anos 1960 e no início dos anos 1970. Simulava a operação de um robô em um mundo de brinquedo (o "mundo dos blocos") e oferecia a possibilidade de fazer perguntas ao robô sobre o estado do mundo. Novamente, a força desse sistema foi a escolha de um domínio muito específico e um mundo muito simples com regras da física que eram fáceis de codificar em um programa de computador.

Na década de 1970, foram desenvolvidas bases de conhecimento direcionadas a domínios de conhecimento mais restritos. Os sistemas de resposta a perguntas desenvolvidos para fazer interface com esses sistemas especialistas produziram respostas mais repetíveis e válidas a perguntas dentro de uma área do conhecimento. Esses sistemas especialistas se assemelhavam aos modernos sistemas de resposta a perguntas, exceto em sua arquitetura interna. Os sistemas especialistas dependem fortemente de bases de conhecimento organizadas e construídas por especialistas , ao passo que muitos sistemas modernos de resposta a perguntas dependem do processamento estatístico de um grande corpus de texto em linguagem natural não estruturado.

As décadas de 1970 e 1980 viram o desenvolvimento de teorias abrangentes em linguística computacional , o que levou ao desenvolvimento de projetos ambiciosos em compreensão de texto e resposta a perguntas. Um exemplo de tal sistema foi o Consultor Unix (UC), desenvolvido por Robert Wilensky na UC Berkeley no final dos anos 1980. O sistema respondeu a perguntas relacionadas ao sistema operacional Unix . Ele tinha uma base de conhecimento abrangente feita à mão em seu domínio e objetivava formular a resposta para acomodar vários tipos de usuários. Outro projeto foi o LILOG, um sistema de compreensão de textos que operava no domínio da informação turística em uma cidade alemã. Os sistemas desenvolvidos nos projetos UC e LILOG nunca passaram do estágio de simples demonstrações, mas ajudaram no desenvolvimento de teorias sobre lingüística computacional e raciocínio.

Sistemas especializados de resposta a perguntas em linguagem natural foram desenvolvidos, como o EAGLi para cientistas da saúde e da vida.

Arquitetura

Em 2001, os sistemas de resposta a perguntas normalmente incluíam um módulo classificador de perguntas que determina o tipo de pergunta e o tipo de resposta.

Métodos de resposta a perguntas

A resposta às perguntas depende muito de um bom corpus de pesquisa - pois, sem documentos que contenham a resposta, o sistema de respostas às perguntas pouco pode fazer. Portanto, faz sentido que tamanhos de coleção maiores geralmente sejam adequados para um melhor desempenho de resposta às perguntas, a menos que o domínio da pergunta seja ortogonal à coleção. A noção de redundância de dados em coleções massivas, como a web, significa que os fragmentos de informações provavelmente serão expressos de muitas maneiras diferentes em contextos e documentos diferentes, levando a dois benefícios:

  1. Por ter as informações corretas aparecendo em muitas formas, a carga sobre o sistema de resposta de perguntas para executar técnicas complexas de PNL para entender o texto é diminuída.
  2. As respostas corretas podem ser filtradas de falsos positivos , confiando na resposta correta para aparecer mais vezes nos documentos do que ocorrências de respostas incorretas.

Alguns sistemas de resposta a perguntas dependem fortemente de raciocínio automatizado .

Resposta a perguntas de domínio aberto

Na recuperação de informações , um sistema de resposta a perguntas de domínio aberto visa retornar uma resposta em resposta à pergunta do usuário. A resposta retornada está na forma de textos curtos, em vez de uma lista de documentos relevantes. O sistema usa uma combinação de técnicas de linguística computacional , recuperação de informação e representação de conhecimento para encontrar respostas.

O sistema considera uma questão de linguagem natural como entrada, em vez de um conjunto de palavras-chave, por exemplo, "Quando é o dia nacional da China?" A frase é então transformada em uma consulta por meio de sua forma lógica . Ter a entrada na forma de uma pergunta em linguagem natural torna o sistema mais amigável, mas mais difícil de implementar, pois existem vários tipos de perguntas e o sistema terá que identificar a correta para dar uma resposta sensata. Atribuir um tipo de pergunta à pergunta é uma tarefa crucial, todo o processo de extração de resposta depende de encontrar o tipo de pergunta correto e, portanto, o tipo de resposta correto.

A extração de palavras-chave é a primeira etapa para identificar o tipo de pergunta de entrada. Em alguns casos, existem palavras claras que indicam o tipo de pergunta diretamente, ou seja, "Quem", "Onde" ou "Quantos", essas palavras dizem ao sistema que as respostas devem ser do tipo "Pessoa", "Local", ou "Número", respectivamente. No exemplo acima, a palavra "Quando" indica que a resposta deve ser do tipo "Data". A marcação POS ( classe gramatical ) e as técnicas de análise sintática também podem ser usadas para determinar o tipo de resposta. Nesse caso, o assunto é "Dia Nacional Chinês", o predicado é "é" e o modificador adverbial é "quando", portanto, o tipo de resposta é "Data". Infelizmente, algumas palavras interrogativas como "Qual", "O quê" ou "Como" não fornecem tipos de resposta claros. Cada uma dessas palavras pode representar mais de um tipo. Em situações como essa, outras palavras na pergunta precisam ser consideradas. A primeira coisa a fazer é encontrar as palavras que podem indicar o significado da pergunta. Um dicionário léxico como o WordNet pode então ser usado para entender o contexto.

Uma vez identificado o tipo de pergunta, um sistema de recuperação de informações é usado para localizar um conjunto de documentos contendo as palavras-chave corretas. Um tagger e um chunker NP / Verb Group podem ser usados ​​para verificar se as entidades e relações corretas são mencionadas nos documentos encontrados. Para questões como "Quem" ou "Onde", um identificador de entidade nomeada é usado para localizar nomes relevantes de "Pessoa" e "Local" nos documentos recuperados. Apenas os parágrafos relevantes são selecionados para classificação.

Um modelo de espaço vetorial pode ser usado como estratégia para classificar as respostas candidatas. Verifique se a resposta é do tipo correto conforme determinado na etapa de análise do tipo de pergunta. Uma técnica de inferência também pode ser usada para validar as respostas do candidato. Uma pontuação é então atribuída a cada um desses candidatos de acordo com o número de palavras interrogativas que ele contém e quão próximas essas palavras estão do candidato. Quanto mais e mais perto, melhor. A resposta é então traduzida em uma representação compacta e significativa por análise. No exemplo anterior, a resposta de saída esperada é "1º de outubro".

Respostas de questões matemáticas

Um sistema de resposta de perguntas de código aberto baseado em Ask Platypus e Wikidata foi publicado em 2018. O sistema pega uma pergunta de idioma natural em inglês ou hindi como entrada e retorna uma fórmula matemática recuperada do Wikidata como uma resposta sucinta. A fórmula resultante é traduzida em uma forma computável, permitindo ao usuário inserir valores para as variáveis. Nomes e valores de variáveis ​​e constantes comuns são recuperados do Wikidata, se disponíveis. Alega-se que o sistema supera um motor comercial de conhecimento matemático computacional em um conjunto de teste.

Os métodos MathQA precisam combinar linguagem natural e de fórmula. Uma abordagem possível é realizar anotações supervisionadas via Entity Linking. A "Tarefa ARQMath" no CLEF 2020 foi lançada para resolver o problema de vincular perguntas recém-postadas da plataforma Math Stack Exchange (MSE) às existentes que já foram respondidas pela comunidade. O laboratório foi motivado pelo fato de Mansouri et al. descobriram que 20% das consultas matemáticas em motores de busca de uso geral são expressas como perguntas bem formadas. Continha duas subtarefas separadas. Tarefa 1: "Recuperação de respostas" combinando as respostas de postagens antigas com as perguntas recém-colocadas e Tarefa 2: "Recuperação de fórmulas" combinando fórmulas de postagens antigas com novas perguntas. Começando com o domínio da matemática, que envolve a linguagem das fórmulas, o objetivo é posteriormente estender a tarefa a outros domínios (por exemplo, disciplinas STEM, como química, biologia, etc.), que empregam outros tipos de notação especial (por exemplo, química fórmulas).

Progresso

Os sistemas de resposta a perguntas foram estendidos nos últimos anos para abranger domínios adicionais de conhecimento. Por exemplo, os sistemas foram desenvolvidos para responder automaticamente a perguntas temporais e geoespaciais, questões de definição e terminologia, questões biográficas, questões multilíngues e questões sobre o conteúdo do áudio, imagens e vídeo. Os tópicos de pesquisa atuais de resposta a perguntas incluem:

Em 2011, o Watson , um sistema de perguntas e respostas desenvolvido pela IBM , competiu em duas partidas de exibição do Jeopardy! contra Brad Rutter e Ken Jennings , vencendo por uma margem significativa. O Facebook Research disponibilizou seu sistema DrQA sob uma licença de código aberto . Este sistema tem sido usado para responder a perguntas de domínio aberto usando a Wikipedia como fonte de conhecimento.

Referências

Leitura adicional

links externos