História do processamento de linguagem natural - History of natural language processing

A história do processamento de linguagem natural descreve os avanços do processamento de linguagem natural (esboço do processamento de linguagem natural). Há alguma sobreposição com a história da tradução automática , a história do reconhecimento de fala e a história da inteligência artificial .

Pesquisa e desenvolvimento

A história da tradução automática remonta ao século XVII, quando filósofos como Leibniz e Descartes apresentaram propostas de códigos que relacionariam palavras entre línguas. Todas essas propostas permaneceram teóricas e nenhuma resultou no desenvolvimento de uma máquina real.

As primeiras patentes de "máquinas de tradução" foram solicitadas em meados da década de 1930. Uma proposta, de Georges Artsrouni, era simplesmente um dicionário bilíngue automático usando fita de papel . A outra proposta, de Peter Troyanskii , um russo , foi mais detalhada. Incluía tanto o dicionário bilíngüe quanto um método para lidar com os papéis gramaticais entre as línguas, baseado no Esperanto .

Em 1950, Alan Turing publicou seu famoso artigo " Computing Machinery and Intelligence ", que propôs o que agora é chamado de teste de Turing como um critério de inteligência. Este critério depende da capacidade de um programa de computador de se passar por um humano em uma conversa escrita em tempo real com um juiz humano, suficientemente bem para que o juiz seja incapaz de distinguir de forma confiável - com base apenas no conteúdo da conversa - entre o programa e um verdadeiro humano.

Em 1957, as estruturas sintáticas de Noam Chomsky revolucionaram a lingüística com a " gramática universal ", um sistema de estruturas sintáticas baseado em regras.

A experiência de Georgetown em 1954 envolveu a tradução totalmente automática de mais de sessenta frases em russo para o inglês. Os autores afirmam que dentro de três ou cinco anos, a tradução automática seria um problema resolvido. No entanto, o progresso real foi muito mais lento e, após o relatório do ALPAC em 1966, que concluiu que dez anos de pesquisa não haviam atendido às expectativas, o financiamento para tradução automática foi drasticamente reduzido. Poucas pesquisas adicionais em tradução automática foram realizadas até o final dos anos 1980, quando os primeiros sistemas estatísticos de tradução automática foram desenvolvidos.

Alguns sistemas de PNL notavelmente bem-sucedidos desenvolvidos na década de 1960 foram o SHRDLU , um sistema de linguagem natural que trabalha em " mundos de blocos " restritos com vocabulários restritos.

Em 1969, Roger Schank introduziu a teoria da dependência conceitual para o entendimento da linguagem natural. Este modelo, parcialmente influenciado pelo trabalho de Sydney Lamb , foi amplamente utilizado pelos alunos de Schank na Universidade de Yale , como Robert Wilensky, Wendy Lehnert e Janet Kolodner .

Em 1970, William A. Woods introduziu a rede de transição aumentada (ATN) para representar a entrada de linguagem natural. Em vez de regras de estrutura de frase, os ATNs usaram um conjunto equivalente de autômatos de estado finito que foram chamados recursivamente. Os ATNs e seu formato mais geral, chamados de "ATNs generalizados", continuaram a ser usados ​​por vários anos. Durante a década de 1970, muitos programadores começaram a escrever 'ontologias conceituais', que estruturavam informações do mundo real em dados compreensíveis por computador. Os exemplos são MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), QUALM (Lehnert, 1977), Politics (Carbonell, 1979) e Plot Units (Lehnert 1981 ) Durante esse tempo, muitos chatterbots foram escritos, incluindo PARRY , Racter e Jabberwacky .

Até a década de 1980, a maioria dos sistemas de PNL baseava-se em conjuntos complexos de regras escritas à mão. A partir do final dos anos 1980, no entanto, houve uma revolução na PNL com a introdução de algoritmos de aprendizado de máquina para processamento de linguagem. Isso se deveu tanto ao aumento constante do poder computacional resultante da Lei de Moore quanto à redução gradual do domínio das teorias da linguística de Chomsky (por exemplo, gramática transformacional ), cujos fundamentos teóricos desencorajaram o tipo de corpus linguístico que fundamenta a abordagem de aprendizado de máquina para processamento de linguagem. Alguns dos primeiros algoritmos de aprendizado de máquina usados, como árvores de decisão , produziram sistemas de regras difíceis do tipo se-então semelhantes às regras existentes escritas à mão. Cada vez mais, no entanto, a pesquisa tem se concentrado em modelos estatísticos , que tomam decisões suaves e probabilísticas com base na atribuição de pesos com valores reais aos recursos que compõem os dados de entrada. Os modelos de linguagem de cache em que muitos sistemas de reconhecimento de voz agora dependem são exemplos de tais modelos estatísticos. Esses modelos são geralmente mais robustos quando recebem entrada desconhecida, especialmente entrada que contém erros (como é muito comum para dados do mundo real) e produzem resultados mais confiáveis ​​quando integrados em um sistema maior que compreende várias subtarefas.

Muitos dos primeiros sucessos notáveis ​​ocorreram no campo da tradução automática , principalmente devido ao trabalho na IBM Research, onde modelos estatísticos sucessivamente mais complicados foram desenvolvidos. Esses sistemas foram capazes de tirar proveito dos corpora textuais multilíngues existentes, produzidos pelo Parlamento do Canadá e da União Europeia como resultado de leis que exigiam a tradução de todos os procedimentos governamentais para todas as línguas oficiais dos sistemas de governo correspondentes. No entanto, a maioria dos outros sistemas dependia de corpora desenvolvidos especificamente para as tarefas implementadas por esses sistemas, o que era (e muitas vezes continua a ser) uma das principais limitações para o sucesso desses sistemas. Como resultado, muitas pesquisas foram feitas sobre métodos de aprendizagem mais eficaz a partir de quantidades limitadas de dados.

Pesquisas recentes têm cada vez mais focados em não supervisionados e semi-supervisionadas algoritmos de aprendizagem. Esses algoritmos são capazes de aprender com dados que não foram anotados à mão com as respostas desejadas ou usando uma combinação de dados anotados e não anotados. Geralmente, essa tarefa é muito mais difícil do que o aprendizado supervisionado e normalmente produz resultados menos precisos para uma determinada quantidade de dados de entrada. No entanto, existe uma enorme quantidade de dados não anotados disponíveis (incluindo, entre outras coisas, todo o conteúdo da World Wide Web ), o que muitas vezes pode compensar os resultados inferiores.

Programas

Programas Ano O Criador Descrição Referência
Experimento de Georgetown 1954 Georgetown University e IBM envolveu a tradução totalmente automática de mais de sessenta frases em russo para o inglês.
ALUNA 1964 Daniel Bobrow poderia resolver problemas de álgebra do ensino médio.
ELIZA 1964 Joseph Weizenbaum uma simulação de um psicoterapeuta rogeriano, reformulando sua resposta com algumas regras gramaticais.
SHRDLU 1970 Terry Winograd um sistema de linguagem natural trabalhando em " mundos de blocos " restritos com vocabulários restritos, funcionou extremamente bem
DESVIAR-SE 1972 Kenneth Colby Um chatterbot
KL-ONE 1974 Sondheimer et al. um sistema de representação de conhecimento na tradição de redes e frames semânticos ; é uma linguagem de moldura .
MARGIE 1975 Roger Schank
TaleSpin (software) 1976 Meehan
QUALM Lehnert
LIFER / LADDER 1978 Hendrix uma interface de linguagem natural para um banco de dados de informações sobre os navios da Marinha dos EUA.
SAM (software) 1978 Cullingford
PAM (software) 1978 Robert Wilensky
Política (software) 1979 Carbonell
Unidades de plotagem (software) 1981 Lehnert
Jabberwacky 1982 Rollo Carpenter chatterbot com o objetivo declarado de "simular bate-papo humano natural de uma maneira interessante, divertida e bem-humorada".
MUMBLE (software) 1982 McDonald
Racter 1983 William Chamberlain e Thomas Etter chatterbot que gerou prosa em inglês aleatoriamente.
MOPTRANS 1984 Lytinen
KODIAK (software) 1986 Wilensky
Ausência (software) 1987 Hirst
Dr. Sbaitso 1991 Laboratórios Criativos
Watson (software de inteligência artificial) 2006 IBM Um sistema de resposta a perguntas que ganhou o Jeopardy! concurso, derrotando os melhores jogadores humanos em fevereiro de 2011.
Siri 2011 maçã Um assistente virtual desenvolvido pela Apple.
Cortana 2014 Microsoft Um assistente virtual desenvolvido pela Microsoft.
Amazon Alexa 2014 Amazonas Um assistente virtual desenvolvido pela Amazon.
Google Assistant 2016 Google Um assistente virtual desenvolvido pelo Google.

Referências

Bibliografia