História do processamento de linguagem natural - History of natural language processing
A história do processamento de linguagem natural descreve os avanços do processamento de linguagem natural (esboço do processamento de linguagem natural). Há alguma sobreposição com a história da tradução automática , a história do reconhecimento de fala e a história da inteligência artificial .
Pesquisa e desenvolvimento
A história da tradução automática remonta ao século XVII, quando filósofos como Leibniz e Descartes apresentaram propostas de códigos que relacionariam palavras entre línguas. Todas essas propostas permaneceram teóricas e nenhuma resultou no desenvolvimento de uma máquina real.
As primeiras patentes de "máquinas de tradução" foram solicitadas em meados da década de 1930. Uma proposta, de Georges Artsrouni, era simplesmente um dicionário bilíngue automático usando fita de papel . A outra proposta, de Peter Troyanskii , um russo , foi mais detalhada. Incluía tanto o dicionário bilíngüe quanto um método para lidar com os papéis gramaticais entre as línguas, baseado no Esperanto .
Em 1950, Alan Turing publicou seu famoso artigo " Computing Machinery and Intelligence ", que propôs o que agora é chamado de teste de Turing como um critério de inteligência. Este critério depende da capacidade de um programa de computador de se passar por um humano em uma conversa escrita em tempo real com um juiz humano, suficientemente bem para que o juiz seja incapaz de distinguir de forma confiável - com base apenas no conteúdo da conversa - entre o programa e um verdadeiro humano.
Em 1957, as estruturas sintáticas de Noam Chomsky revolucionaram a lingüística com a " gramática universal ", um sistema de estruturas sintáticas baseado em regras.
A experiência de Georgetown em 1954 envolveu a tradução totalmente automática de mais de sessenta frases em russo para o inglês. Os autores afirmam que dentro de três ou cinco anos, a tradução automática seria um problema resolvido. No entanto, o progresso real foi muito mais lento e, após o relatório do ALPAC em 1966, que concluiu que dez anos de pesquisa não haviam atendido às expectativas, o financiamento para tradução automática foi drasticamente reduzido. Poucas pesquisas adicionais em tradução automática foram realizadas até o final dos anos 1980, quando os primeiros sistemas estatísticos de tradução automática foram desenvolvidos.
Alguns sistemas de PNL notavelmente bem-sucedidos desenvolvidos na década de 1960 foram o SHRDLU , um sistema de linguagem natural que trabalha em " mundos de blocos " restritos com vocabulários restritos.
Em 1969, Roger Schank introduziu a teoria da dependência conceitual para o entendimento da linguagem natural. Este modelo, parcialmente influenciado pelo trabalho de Sydney Lamb , foi amplamente utilizado pelos alunos de Schank na Universidade de Yale , como Robert Wilensky, Wendy Lehnert e Janet Kolodner .
Em 1970, William A. Woods introduziu a rede de transição aumentada (ATN) para representar a entrada de linguagem natural. Em vez de regras de estrutura de frase, os ATNs usaram um conjunto equivalente de autômatos de estado finito que foram chamados recursivamente. Os ATNs e seu formato mais geral, chamados de "ATNs generalizados", continuaram a ser usados por vários anos. Durante a década de 1970, muitos programadores começaram a escrever 'ontologias conceituais', que estruturavam informações do mundo real em dados compreensíveis por computador. Os exemplos são MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), QUALM (Lehnert, 1977), Politics (Carbonell, 1979) e Plot Units (Lehnert 1981 ) Durante esse tempo, muitos chatterbots foram escritos, incluindo PARRY , Racter e Jabberwacky .
Até a década de 1980, a maioria dos sistemas de PNL baseava-se em conjuntos complexos de regras escritas à mão. A partir do final dos anos 1980, no entanto, houve uma revolução na PNL com a introdução de algoritmos de aprendizado de máquina para processamento de linguagem. Isso se deveu tanto ao aumento constante do poder computacional resultante da Lei de Moore quanto à redução gradual do domínio das teorias da linguística de Chomsky (por exemplo, gramática transformacional ), cujos fundamentos teóricos desencorajaram o tipo de corpus linguístico que fundamenta a abordagem de aprendizado de máquina para processamento de linguagem. Alguns dos primeiros algoritmos de aprendizado de máquina usados, como árvores de decisão , produziram sistemas de regras difíceis do tipo se-então semelhantes às regras existentes escritas à mão. Cada vez mais, no entanto, a pesquisa tem se concentrado em modelos estatísticos , que tomam decisões suaves e probabilísticas com base na atribuição de pesos com valores reais aos recursos que compõem os dados de entrada. Os modelos de linguagem de cache em que muitos sistemas de reconhecimento de voz agora dependem são exemplos de tais modelos estatísticos. Esses modelos são geralmente mais robustos quando recebem entrada desconhecida, especialmente entrada que contém erros (como é muito comum para dados do mundo real) e produzem resultados mais confiáveis quando integrados em um sistema maior que compreende várias subtarefas.
Muitos dos primeiros sucessos notáveis ocorreram no campo da tradução automática , principalmente devido ao trabalho na IBM Research, onde modelos estatísticos sucessivamente mais complicados foram desenvolvidos. Esses sistemas foram capazes de tirar proveito dos corpora textuais multilíngues existentes, produzidos pelo Parlamento do Canadá e da União Europeia como resultado de leis que exigiam a tradução de todos os procedimentos governamentais para todas as línguas oficiais dos sistemas de governo correspondentes. No entanto, a maioria dos outros sistemas dependia de corpora desenvolvidos especificamente para as tarefas implementadas por esses sistemas, o que era (e muitas vezes continua a ser) uma das principais limitações para o sucesso desses sistemas. Como resultado, muitas pesquisas foram feitas sobre métodos de aprendizagem mais eficaz a partir de quantidades limitadas de dados.
Pesquisas recentes têm cada vez mais focados em não supervisionados e semi-supervisionadas algoritmos de aprendizagem. Esses algoritmos são capazes de aprender com dados que não foram anotados à mão com as respostas desejadas ou usando uma combinação de dados anotados e não anotados. Geralmente, essa tarefa é muito mais difícil do que o aprendizado supervisionado e normalmente produz resultados menos precisos para uma determinada quantidade de dados de entrada. No entanto, existe uma enorme quantidade de dados não anotados disponíveis (incluindo, entre outras coisas, todo o conteúdo da World Wide Web ), o que muitas vezes pode compensar os resultados inferiores.
Programas
Programas | Ano | O Criador | Descrição | Referência |
---|---|---|---|---|
Experimento de Georgetown | 1954 | Georgetown University e IBM | envolveu a tradução totalmente automática de mais de sessenta frases em russo para o inglês. | |
ALUNA | 1964 | Daniel Bobrow | poderia resolver problemas de álgebra do ensino médio. | |
ELIZA | 1964 | Joseph Weizenbaum | uma simulação de um psicoterapeuta rogeriano, reformulando sua resposta com algumas regras gramaticais. | |
SHRDLU | 1970 | Terry Winograd | um sistema de linguagem natural trabalhando em " mundos de blocos " restritos com vocabulários restritos, funcionou extremamente bem | |
DESVIAR-SE | 1972 | Kenneth Colby | Um chatterbot | |
KL-ONE | 1974 | Sondheimer et al. | um sistema de representação de conhecimento na tradição de redes e frames semânticos ; é uma linguagem de moldura . | |
MARGIE | 1975 | Roger Schank | ||
TaleSpin (software) | 1976 | Meehan | ||
QUALM | Lehnert | |||
LIFER / LADDER | 1978 | Hendrix | uma interface de linguagem natural para um banco de dados de informações sobre os navios da Marinha dos EUA. | |
SAM (software) | 1978 | Cullingford | ||
PAM (software) | 1978 | Robert Wilensky | ||
Política (software) | 1979 | Carbonell | ||
Unidades de plotagem (software) | 1981 | Lehnert | ||
Jabberwacky | 1982 | Rollo Carpenter | chatterbot com o objetivo declarado de "simular bate-papo humano natural de uma maneira interessante, divertida e bem-humorada". | |
MUMBLE (software) | 1982 | McDonald | ||
Racter | 1983 | William Chamberlain e Thomas Etter | chatterbot que gerou prosa em inglês aleatoriamente. | |
MOPTRANS | 1984 | Lytinen | ||
KODIAK (software) | 1986 | Wilensky | ||
Ausência (software) | 1987 | Hirst | ||
Dr. Sbaitso | 1991 | Laboratórios Criativos | ||
Watson (software de inteligência artificial) | 2006 | IBM | Um sistema de resposta a perguntas que ganhou o Jeopardy! concurso, derrotando os melhores jogadores humanos em fevereiro de 2011. | |
Siri | 2011 | maçã | Um assistente virtual desenvolvido pela Apple. | |
Cortana | 2014 | Microsoft | Um assistente virtual desenvolvido pela Microsoft. | |
Amazon Alexa | 2014 | Amazonas | Um assistente virtual desenvolvido pela Amazon. | |
Google Assistant | 2016 | Um assistente virtual desenvolvido pelo Google. |
Referências
Bibliografia
- Crevier, Daniel (1993), AI: The Tumultuous Search for Artificial Intelligence , New York, NY: BasicBooks, ISBN 0-465-02997-3
- McCorduck, Pamela (2004), Machines Who Think (2ª ed.), Natick, MA: AK Peters, Ltd., ISBN 978-1-56881-205-2, OCLC 52197627.
- Russell, Stuart J .; Norvig, Peter (2003), Artificial Intelligence: A Modern Approach (2ª ed.), Upper Saddle River, New Jersey: Prentice Hall, ISBN 0-13-790395-2.