Computação de reservatório - Reservoir computing

A computação de reservatório é uma estrutura para computação derivada da teoria de rede neural recorrente que mapeia sinais de entrada em espaços computacionais de dimensão superior por meio da dinâmica de um sistema fixo não linear chamado reservatório. Depois que o sinal de entrada é alimentado no reservatório, que é tratado como uma "caixa preta", um mecanismo de leitura simples é treinado para ler o estado do reservatório e mapeá-lo para a saída desejada. O primeiro benefício principal desta estrutura é que o treinamento é realizado apenas no estágio de leitura, já que a dinâmica do reservatório é fixa. A segunda é que o poder computacional dos sistemas naturalmente disponíveis, tanto clássicos quanto quânticos, pode ser utilizado para reduzir o custo computacional efetivo.

História

O conceito de computação de reservatório deriva do uso de conexões recursivas em redes neurais para criar um sistema dinâmico complexo. É uma generalização das arquiteturas de rede neural anteriores, como redes neurais recorrentes, máquinas de estado líquido e redes de estado de eco . A computação de reservatório também se estende a sistemas físicos que não são redes no sentido clássico, mas sim sistemas contínuos no espaço e / ou tempo: por exemplo, um "balde de água" literal pode servir como um reservatório que realiza cálculos em entradas dadas como perturbações do superfície. A complexidade resultante de tais redes neurais recorrentes foi considerada útil na solução de uma variedade de problemas, incluindo processamento de linguagem e modelagem de sistema dinâmico. No entanto, o treinamento de redes neurais recorrentes é desafiador e caro do ponto de vista computacional. A computação de reservatório reduz os desafios relacionados ao treinamento, corrigindo a dinâmica do reservatório e apenas treinando a camada de saída linear.

Uma grande variedade de sistemas dinâmicos não lineares pode servir como um reservatório que realiza cálculos. Nos últimos anos, os lasers semicondutores têm atraído um interesse considerável, pois a computação pode ser rápida e eficiente em termos de energia em comparação com os componentes elétricos.

Avanços recentes na IA e na teoria da informação quântica deram origem ao conceito de redes neurais quânticas . Eles são promissores no processamento de informações quânticas, o que é um desafio para as redes clássicas, mas também podem encontrar aplicação na solução de problemas clássicos. Em 2018, a realização física de uma arquitetura de computação de reservatório quântico foi demonstrada na forma de spins nucleares dentro de um sólido molecular. No entanto, os experimentos de spin nuclear em não demonstraram a computação quântica do reservatório per se, pois não envolveram o processamento de dados sequenciais. Em vez disso, os dados eram entradas vetoriais, o que torna isso uma demonstração mais precisa da implementação quântica de um algoritmo aleatório de pia de cozinha (também conhecido pelo nome de máquinas de aprendizado extremo em algumas comunidades). Em 2019, outra possível implementação de processadores de reservatório quântico foi proposta na forma de redes fermiônicas bidimensionais. Em 2020, a realização da computação de reservatório em computadores quânticos baseados em portas foi proposta e demonstrada em computadores quânticos de curto prazo supercondutores da IBM baseados em nuvem.

Computadores reservatórios têm sido usados ​​para fins de análise de séries temporais. Em particular, alguns de seus usos envolvem predição caótica de séries temporais , separação de sinais caóticos e inferência de links de redes a partir de sua dinâmica.

Computação clássica de reservatório

Reservatório

O 'reservatório' na computação de reservatório é a estrutura interna do computador e deve ter duas propriedades: deve ser composto de unidades individuais não lineares e deve ser capaz de armazenar informações. A não linearidade descreve a resposta de cada unidade à entrada, que é o que permite aos computadores reservatórios resolver problemas complexos. Os reservatórios são capazes de armazenar informações conectando as unidades em loops recorrentes, onde a entrada anterior afeta a próxima resposta. A mudança na reação devido ao passado permite que os computadores sejam treinados para realizar tarefas específicas.

Os reservatórios podem ser virtuais ou físicos. Os reservatórios virtuais são normalmente gerados aleatoriamente e são projetados como redes neurais. Os reservatórios virtuais podem ser projetados para ter não linearidade e loops recorrentes, mas, ao contrário das redes neurais, as conexões entre as unidades são aleatórias e permanecem inalteradas durante a computação. Os reservatórios físicos são possíveis devido à não linearidade inerente de certos sistemas naturais. A interação entre ondulações na superfície da água contém a dinâmica não linear necessária na criação do reservatório, e um reconhecimento de padrão RC foi desenvolvido primeiro inserindo ondulações com motores elétricos, em seguida, registrando e analisando as ondulações na leitura.

Leia

A leitura é uma camada de rede neural que realiza uma transformação linear na saída do reservatório. Os pesos da camada de leitura são treinados analisando os padrões espaço-temporais do reservatório após a excitação por entradas conhecidas e utilizando um método de treinamento, como uma regressão linear ou uma regressão de Ridge . Como sua implementação depende de padrões de reservatório espaço-temporais, os detalhes dos métodos de leitura são ajustados para cada tipo de reservatório. Por exemplo, a leitura de um computador de reservatório usando um recipiente de líquido como seu reservatório pode envolver a observação de padrões espaço-temporais na superfície do líquido.

Tipos

Rede de reverberação de contexto

Um dos primeiros exemplos de computação de reservatório foi a rede de reverberação de contexto. Nesta arquitetura, uma camada de entrada alimenta um sistema dinâmico de alta dimensão que é lido por um perceptron de camada única treinável . Dois tipos de sistema dinâmico foram descritos: uma rede neural recorrente com pesos aleatórios fixos e um sistema de reação-difusão contínua inspirado no modelo de morfogênese de Alan Turing . Na camada treinável, o perceptron associa as entradas de corrente aos sinais que reverberam no sistema dinâmico; o último fornece um "contexto" dinâmico para as entradas. Na linguagem de um trabalho posterior, o sistema de reação-difusão serviu de reservatório.

Rede de estado de eco

Artigo principal: Rede de estado de eco

O modelo Tree Echo State Network (TreeESN) representa uma generalização da estrutura de computação de reservatórios para dados estruturados em árvore.

Máquina de estado líquido

Artigo principal: Máquina de estado líquido

Cálculo transiente não linear

Este tipo de processamento de informações é mais relevante quando os sinais de entrada dependentes do tempo partem da dinâmica interna do mecanismo. Essas saídas causam transientes ou altercações temporárias que são representadas na saída do dispositivo.

Computação de reservatório profundo

A extensão do framework da computação de reservatórios para Deep Learning, com a introdução da Deep Reservoir Computing e do modelo Deep Echo State Network (DeepESN), permite desenvolver modelos treinados de forma eficiente para o processamento hierárquico de dados temporais, ao mesmo tempo em que possibilita a investigação sobre o papel inerente da composição em camadas em redes neurais recorrentes .

Computação de reservatório quântico

A computação de reservatório quântico pode utilizar a natureza não linear das interações ou processos mecânicos quânticos para formar os reservatórios não lineares característicos, mas também pode ser feita com reservatórios lineares quando a injeção da entrada no reservatório cria a não linearidade. O casamento de aprendizado de máquina e dispositivos quânticos está levando ao surgimento da computação neuromórfica quântica como uma nova área de pesquisa.

Tipos

Estados gaussianos de osciladores harmônicos quânticos em interação

Os estados gaussianos são uma classe paradigmática de estados de sistemas quânticos variáveis ​​contínuas . Embora hoje em dia possam ser criados e manipulados, por exemplo, em plataformas ópticas de última geração, naturalmente robustas à decoerência , é sabido que não são suficientes para, por exemplo, computação quântica universal devido às transformações que preservam o Gauss natureza de um estado são lineares. Normalmente, a dinâmica linear também não seria suficiente para a computação de reservatório não trivial. No entanto, é possível aproveitar essa dinâmica para fins de computação de reservatório, considerando uma rede de osciladores harmônicos quânticos em interação e injetando a entrada por redefinições de estado periódicas de um subconjunto dos osciladores. Com uma escolha adequada de como os estados deste subconjunto de osciladores dependem da entrada, os observáveis ​​do resto dos osciladores podem se tornar funções não lineares da entrada adequadas para computação de reservatório; na verdade, graças às propriedades dessas funções, mesmo a computação de reservatório universal se torna possível combinando os observáveis ​​com uma função de leitura polinomial. Em princípio, tais computadores de reservatório poderiam ser implementados com processos paramétricos ópticos multimodo controlados , no entanto, a extração eficiente da saída do sistema é um desafio, especialmente no regime quântico, onde a ação reversa da medição deve ser levada em consideração.

Redes de pontos quânticos 2-D

Nessa arquitetura, o acoplamento aleatório entre os locais da rede confere ao reservatório a propriedade de “caixa preta” inerente aos processadores do reservatório. O reservatório é então excitado, que atua como entrada, por um campo óptico incidente . A leitura ocorre na forma de números ocupacionais de locais de rede, que são funções naturalmente não lineares da entrada.

Nuclear gira em um sólido molecular

Nesta arquitetura, o acoplamento mecânico quântico entre spins de átomos vizinhos dentro do sólido molecular fornece a não linearidade necessária para criar o espaço computacional de dimensão superior. O reservatório é então excitado por radiação eletromagnética de radiofrequência sintonizada nas frequências de ressonância de spins nucleares relevantes . A leitura ocorre medindo os estados de spin nuclear.

Computação de reservatório em computadores quânticos supercondutores de curto prazo baseados em portas

O modelo mais prevalente de computação quântica é o modelo baseado em porta, onde a computação quântica é realizada por aplicações sequenciais de portas quânticas unitárias em qubits de um computador quântico. Uma teoria para a implementação de computação de reservatório em um computador quântico baseado em porta com demonstrações de prova de princípio em uma série de computadores quânticos de escala intermediária (NISQ) supercondutores supercondutores da IBM foi relatada em.

Veja também

Referências

Leitura adicional