Perceptrons (livro) - Perceptrons (book)

Perceptrons: uma introdução à geometria computacional
Autor Marvin Minsky , Seymour Papert
Data de publicação
 1969
ISBN 0 262 13043 2

Perceptrons: uma introdução à geometria computacional é um livro escrito por Marvin Minsky e Seymour Papert e publicado em 1969. Uma edição com correções manuscritas e acréscimos foi lançada no início dos anos 1970. Uma edição ampliada foi publicada em 1987, contendo um capítulo dedicado a conter as críticas feitas a ela na década de 1980.

O assunto principal do livro é o perceptron , um tipo de rede neural artificial desenvolvida no final dos anos 1950 e início dos 1960. O livro foi dedicado ao psicólogo Frank Rosenblatt , que em 1957 publicou o primeiro modelo de um "Perceptron". Rosenblatt e Minsky se conheciam desde a adolescência, tendo estudado com um ano de diferença na Escola de Ciências do Bronx . Eles se tornaram em um ponto as figuras centrais de um debate dentro da comunidade de pesquisa de IA, e são conhecidos por promoverem discussões ruidosas em conferências, mas permaneceram amigáveis.

Este livro é o centro de uma controvérsia de longa data no estudo da inteligência artificial . Afirma-se que as previsões pessimistas feitas pelos autores foram responsáveis ​​por uma mudança no rumo das pesquisas em IA, concentrando esforços nos chamados sistemas "simbólicos", linha de pesquisa que se esgota e contribuiu para o chamado inverno da IA. da década de 1980, quando a promessa da IA ​​não foi cumprida.

A carne dos Perceptrons é uma série de provas matemáticas que reconhecem alguns dos pontos fortes dos Perceptrons, ao mesmo tempo que mostram limitações importantes. O mais importante está relacionado ao cálculo de alguns predicados, como a função XOR, e também o importante predicado de conexão. O problema da conexão é ilustrado na capa estranhamente colorida do livro, com o objetivo de mostrar como os próprios humanos têm dificuldade em computar esse predicado.

A função XOR não pode ser aprendida por um único neurônio usando as funções de ativação Swish, Mish, ReLU, Leaky ReLU, logístico-sigmóide e tan-sigmoidal. No entanto, a função XOR pode ser aprendida usando um único neurônio com funções de ativação oscilatória, como a ativação da unidade de cosseno crescente (GCU). O uso de funções de ativação oscilatória permite que até mesmo neurônios individuais exibam limites de decisão não lineares.

Fundo

O perceptron é uma rede neural desenvolvida pelo psicólogo Frank Rosenblatt em 1958 e é uma das máquinas mais famosas de seu período. Em 1960, Rosenblatt e colegas foram capazes de mostrar que o perceptron poderia, em um número finito de ciclos de treinamento, aprender qualquer tarefa que seus parâmetros pudessem incorporar. O teorema de convergência do perceptron foi provado para redes neurais de camada única.

Durante esse período, a pesquisa da rede neural foi uma abordagem importante para a questão da máquina cérebro que foi adotada por um número significativo de indivíduos. Relatórios do New York Times e declarações de Rosenblatt afirmavam que as redes neurais logo seriam capazes de ver imagens, vencer os humanos no xadrez e se reproduzir. Ao mesmo tempo, novas abordagens, incluindo IA simbólica, surgiram. Diferentes grupos se viram competindo por recursos e pessoas, e sua demanda por poder de computação ultrapassava em muito a oferta disponível.

Conteúdo

Perceptrons: uma introdução à geometria computacional é um livro de treze capítulos agrupados em três seções. Os capítulos 1 a 10 apresentam a teoria perceptron dos autores por meio de provas, o capítulo 11 envolve aprendizagem, o capítulo 12 trata de problemas de separação linear e o capítulo 13 discute alguns dos pensamentos dos autores sobre perceptrons simples e multicamadas e reconhecimento de padrão.

Definição de perceptron

Minsky e Papert tomaram como tema as versões abstratas de uma classe de dispositivos de aprendizagem que eles chamaram de perceptrons, "em reconhecimento ao trabalho pioneiro de Frank Rosenblatt". Esses perceptrons foram formas modificadas dos perceptrons introduzidos por Rosenblatt em 1958. Eles consistiam em uma retina, uma única camada de funções de entrada e uma única saída.

Além disso, os autores restringiram a "ordem", ou número máximo de conexões de entrada, de seus perceptrons. O sociólogo Mikel Olazaran explica que Minsky e Papert "sustentavam que o interesse da computação neural vinha do fato de ser uma combinação paralela de informações locais ", que, para ser eficaz, deveria ser um simples cálculo. Para os autores, isso implicava que "cada unidade de associação poderia receber conexões apenas de uma pequena parte da área de entrada". Minsky e Papert chamaram esse conceito de "localidade conjuntiva".

Paridade e conexão

Dois exemplos principais analisados ​​pelos autores foram paridade e conexidade. A paridade envolve determinar se o número de entradas ativadas na retina de entrada é ímpar ou par, e a conexão se refere ao problema de figura-fundo . Minsky e Papert provaram que o perceptron de camada única não podia computar a paridade sob a condição de localidade conjuntiva e mostraram que a ordem exigida para um perceptron computar a conectividade cresceu de forma impraticável.

O caso XOR

Alguns críticos do livro afirmam que os autores sugerem que, uma vez que um único neurônio artificial é incapaz de implementar algumas funções como a função lógica XOR , redes maiores também têm limitações semelhantes e, portanto, devem ser descartadas. Pesquisas sobre perceptrons de três camadas mostraram como implementar tais funções. Rosenblatt em seu livro provou que o perceptron elementar com um número ilimitado a priori de elementos ocultos da camada A (neurônios) e um neurônio de saída pode resolver qualquer problema de classificação. (Teorema da existência.) Minsky e Papert usaram perceptrons com número restrito de entradas dos elementos A da camada oculta e condição de localidade: cada elemento da camada oculta recebe os sinais de entrada de um pequeno círculo. Esses perceptrons restritos não podem definir se a imagem é uma figura conectada ou é o número de pixels na imagem par (o predicado de paridade).

Existem muitos erros nesta história. Embora um único neurônio possa, de fato, computar apenas um pequeno número de predicados lógicos, era amplamente conhecido que as redes de tais elementos podem computar qualquer função booleana possível . Isso era conhecido por Warren McCulloch e Walter Pitts , que até propôs como criar uma máquina de Turing com seus neurônios formais, é mencionado no livro de Rosenblatt e até mesmo mencionado no livro Perceptrons. Minsky também usa amplamente neurônios formais para criar computadores teóricos simples em seu livro Computation: Finite and Infinite Machines .

O que o livro prova é que em perceptrons feed-forward de três camadas (com uma camada chamada "oculta" ou "intermediária"), não é possível calcular alguns predicados a menos que pelo menos um dos neurônios na primeira camada de neurônios (a camada "intermediária") é conectado com um peso não nulo para cada entrada. Isso era contrário à esperança de alguns pesquisadores de depender principalmente de redes com algumas camadas de neurônios "locais", cada uma conectada apenas a um pequeno número de entradas. Uma máquina de feed-forward com neurônios "locais" é muito mais fácil de construir e usar do que uma rede neural maior e totalmente conectada, de modo que os pesquisadores da época se concentravam nisso em vez de em modelos mais complicados.

Alguns outros críticos, mais notavelmente Jordan Pollack, observam que o que era uma pequena prova sobre um problema global (paridade) não sendo detectável por detectores locais foi interpretado pela comunidade como uma tentativa bastante bem-sucedida de enterrar a ideia toda.

Uma solução de neurônio único para o problema XOR

A incapacidade de uma única unidade Perceptron de aprender a função XOR foi vista como uma limitação fundamental das redes neurais e levou a um hiato na pesquisa de redes neurais. Um único neurônio usando qualquer uma das funções de ativação populares como Swish, Mish, ReLU, Leaky ReLU, logístico-sigmóide ou tan-sigmóide, não pode aprender a função XOR. No entanto, um único neurônio com funções de ativação oscilatória como a ativação da unidade de cosseno crescente (GCU) pode aprender a função XOR. Para funções de ativação que aumentam monotonicamente e geram um valor zero na origem, o limite de decisão é um único hiperplano. No entanto, as funções de ativação oscilatória podem ter muitos zeros e, portanto, podem ter vários hiperplanos como limites de decisão, permitindo a solução do problema XOR com um único neurônio. A figura abaixo mostra um único neurônio GCU que aprendeu exatamente a função da porta XOR.

Um único neurônio GCU pode aprender a função XOR. As entradas e saídas da porta XOR mostradas são consideradas bipolares (ou seja, +1 ou -1).

Perceptrons e reconhecimento de padrões

No capítulo final, os autores apresentam reflexões sobre máquinas multicamadas e perceptrons Gamba. Eles conjeturam que as máquinas Gamba exigiriam "um número enorme" de máscaras Gamba e que as redes neurais multicamadas são uma extensão "estéril". Além disso, eles observam que muitos dos problemas "impossíveis" para perceptrons já foram resolvidos usando outros métodos.

Recepção e legado

Perceptrons recebeu uma série de críticas positivas nos anos após a publicação. Em 1969, o professor de Stanford Michael A. Arbib declarou: "[t] seu livro foi amplamente saudado como um excitante novo capítulo na teoria do reconhecimento de padrões." No início daquele ano, o professor do CMU Allen Newell compôs uma resenha do livro para a Science , abrindo o artigo declarando "[t] este é um grande livro."

Por outro lado, HD Block expressou preocupação com a definição restrita dos autores de perceptrons. Ele argumentou que eles "estudam uma classe severamente limitada de máquinas de um ponto de vista totalmente estranho ao de Rosenblatt" e, portanto, o título do livro era "seriamente enganoso". Os pesquisadores contemporâneos da rede neural compartilharam algumas dessas objeções: Bernard Widrow reclamou que os autores definiram perceptrons muito estreitamente, mas também disseram que as provas de Minsky e Papert eram "praticamente irrelevantes", surgindo uma década inteira após o perceptron de Rosenblatt.

Freqüentemente, acredita-se que os perceptrons tenham causado um declínio na pesquisa de redes neurais na década de 1970 e no início da década de 1980. Durante este período, os pesquisadores da rede neural continuaram com projetos menores fora do mainstream, enquanto a pesquisa de IA simbólica teve um crescimento explosivo.

Com o renascimento do conexionismo no final dos anos 80, o pesquisador do PDP David Rumelhart e seus colegas voltaram ao Perceptrons . Em um relatório de 1986, eles afirmaram ter superado os problemas apresentados por Minsky e Papert, e que "seu pessimismo sobre a aprendizagem em máquinas multicamadas estava errado".

Análise da controvérsia

É muito instrutivo aprender o que os próprios Minsky e Papert disseram na década de 1970 sobre quais eram as implicações mais amplas de seu livro. Em seu site, Harvey Cohen, pesquisador do MIT AI Labs 1974+, cita Minsky e Papert no Relatório de 1971 do Projeto MAC, dirigido a agências de financiamento, sobre "Redes Gamba": "Praticamente nada se sabe sobre as capacidades computacionais deste último tipo de máquina. Acreditamos que ela pode fazer pouco mais do que um perceptron de ordem inferior. " Na página anterior, Minsky e Papert deixam claro que "redes Gamba" são redes com camadas ocultas.

Minsky comparou o livro ao livro fictício Necronomicon nos contos de HP Lovecraft , um livro conhecido por muitos, mas lido apenas por alguns. Os autores falam na edição ampliada sobre a crítica ao livro iniciada na década de 1980, com uma nova onda de pesquisas simbolizada pelo livro do PDP .

Como o Perceptrons foi explorado primeiro por um grupo de cientistas para conduzir a pesquisa em IA em uma direção, e depois por um novo grupo em outra direção, foi o assunto de um estudo sociológico do desenvolvimento científico.

Notas

Referências