Função de ativação - Activation function

Função de ativação logística

Em redes neurais artificiais , a função de ativação de um nó define a saída desse nó dada uma entrada ou conjunto de entradas. Um circuito integrado padrão pode ser visto como uma rede digital de funções de ativação que podem ser "ON" (1) ou "OFF" (0), dependendo da entrada. Isso é semelhante ao perceptron linear em redes neurais . No entanto, apenas funções de ativação não lineares permitem que tais redes computem problemas não triviais usando apenas um pequeno número de nós, e tais funções de ativação são chamadas de não linearidades .

Classificação das funções de ativação

As funções de ativação mais comuns podem ser divididas em três categorias: funções de crista , funções radiais e funções de dobra .

Funções de ativação do cume

As funções Ridge são funções multivariadas que atuam em uma combinação linear das variáveis de entrada. Os exemplos mais usados incluem:

Linear activação: , ${\ displaystyle \ phi (\ mathbf {v}) = a + \ mathbf {v} '\ mathbf {b}}$
Relu activação: , ${\ displaystyle \ phi (\ mathbf {v}) = \ max (0, a + \ mathbf {v} '\ mathbf {b})}$
Heaviside activação: , ${\ displaystyle \ phi (\ mathbf {v}) = 1_ {a + \ mathbf {v} '\ mathbf {b}> 0}}$
Logística activação: . ${\ displaystyle \ phi (\ mathbf {v}) = (1+ \ exp (-a- \ mathbf {v} '\ mathbf {b})) ^ {- 1}}$

Em redes neurais inspiradas biologicamente , a função de ativação é geralmente uma abstração que representa a taxa de disparo do potencial de ação na célula. Em sua forma mais simples, essa função é binária - ou seja, o neurônio está disparando ou não. A função se parece com , onde está a função de etapa de Heaviside . ${\ displaystyle \ phi (\ mathbf {v}) = U (a + \ mathbf {v} '\ mathbf {b})}$ ${\ displaystyle U}$

Uma linha de inclinação positiva pode ser usada para refletir o aumento na taxa de disparo que ocorre à medida que a corrente de entrada aumenta. Essa função seria da forma . ${\ displaystyle \ phi (\ mathbf {v}) = a + \ mathbf {v} '\ mathbf {b}}$

Funções de ativação de unidade linear retificada e unidade linear de erro Gaussiano

Os neurônios também não podem disparar mais rápido do que uma certa taxa, motivando funções de ativação sigmóide cujo alcance é um intervalo finito.

Funções de ativação radial

Uma classe especial de funções de ativação conhecidas como funções de base radial (RBFs) são usadas em redes RBF , que são extremamente eficientes como aproximadores de função universal. Essas funções de ativação podem assumir várias formas, como:

Gaussiano : ${\ displaystyle \, \ phi (\ mathbf {v}) = \ exp \ left (- {\ frac {\ | \ mathbf {v} - \ mathbf {c} \ | ^ {2}} {2 \ sigma ^ {2}}} \ right)}$
Multiquadráticos: ${\ displaystyle \, \ phi (\ mathbf {v}) = {\ sqrt {\ | \ mathbf {v} - \ mathbf {c} \ | ^ {2} + a ^ {2}}}}$

onde é o vetor que representa o centro da função e e são parâmetros que afetam a propagação do raio. ${\ displaystyle \ mathbf {c}}$ ${\ displaystyle a}$ ${\ displaystyle \ sigma}$

Funções de ativação de dobramento

As funções de ativação de dobramento são amplamente utilizadas nas camadas de agrupamento em redes neurais convolucionais e em camadas de saída de redes de classificação multiclasse. Essas ativações realizam agregação sobre as entradas, como tomar a média , mínimo ou máximo . Na classificação multiclasse, a ativação softmax é freqüentemente usada.

Comparação de funções de ativação

Existem inúmeras funções de ativação. O artigo seminal de Hinton et al. De 2012 sobre reconhecimento automático de fala usa uma função de ativação sigmóide logística. A arquitetura seminal de visão computacional AlexNet 2012 usa a função de ativação ReLU, assim como a arquitetura seminal de visão computacional ResNet 2015 . O modelo de processamento de linguagem seminal de 2018 BERT usa uma versão suave do ReLU, o GELU.

Além de seu desempenho empírico, as funções de ativação também têm diferentes propriedades matemáticas:

Não linear: Quando a função de ativação não é linear, pode-se provar que uma rede neural de duas camadas é um aproximador de função universal. Isso é conhecido como Teorema da Aproximação Universal . A função de ativação de identidade não satisfaz esta propriedade. Quando várias camadas usam a função de ativação de identidade, toda a rede é equivalente a um modelo de camada única.
Faixa: Quando o intervalo da função de ativação é finito, os métodos de treinamento baseados em gradiente tendem a ser mais estáveis, porque as apresentações de padrões afetam significativamente apenas pesos limitados. Quando o intervalo é infinito, o treinamento geralmente é mais eficiente porque as apresentações dos padrões afetam significativamente a maioria dos pesos. No último caso, taxas de aprendizado menores são normalmente necessárias.
Continuamente diferenciável: Esta propriedade é desejável ( ReLU não é continuamente diferenciável e tem alguns problemas com a otimização baseada em gradiente, mas ainda é possível) para habilitar métodos de otimização baseados em gradiente. A função de ativação de etapa binária não é diferenciável em 0 e se diferencia em 0 para todos os outros valores, portanto, os métodos baseados em gradiente não podem progredir com ela.

Equivalência de sinal para função de identidade

Dois função real f e g são disse a ser sinal equivalentes se para todos os valores de z no domínio. Onde signo é a função signum . Funções de ativação como tanh, Leaky ReLU, GELU, ELU, Swish e Mish são sinais equivalentes à função de identidade e não podem aprender a função XOR com um único neurônio. A saída de um único neurônio ou sua ativação é , onde g é a função de ativação. O limite de decisão para um único neurônio é o conjunto de pontos que geram uma saída igual a zero. Assim, o limite de decisão para um neurônio usando qualquer uma das funções de ativação de sinal equivalente à função de identidade é um único hiperplano. No entanto, as funções de ativação oscilatória podem ter muitos zeros e, portanto, um único neurônio pode ter vários hiperplanos como parte de seu limite de decisão. Embora as redes multicamadas sejam necessárias para atingir limites de decisão não lineares, o uso de funções de ativação oscilatória permite que até mesmo neurônios individuais exibam limites de decisão não lineares. ${\ sinal de displaystyle (f (z)) = sinal (g (z))}$ ${\ displaystyle a = g (z) = g ({\ boldsymbol {w}} ^ {T} {\ boldsymbol {x}} + b)}$

Essas propriedades não influenciam decisivamente o desempenho, nem são as únicas propriedades matemáticas que podem ser úteis. Por exemplo, a faixa estritamente positiva do softplus o torna adequado para prever variações em autoencoders variacionais .

Tabela de funções de ativação

A tabela a seguir compara as propriedades de várias funções de ativação que são funções de uma dobra $x$ da camada ou camadas anteriores:

Nome	Função, ${\ displaystyle f (x)}$	Derivado de , ${\ displaystyle f}$ ${\ displaystyle f '(x)}$	Faixa	Ordem de continuidade
Identidade	${\ displaystyle x}$	${\ displaystyle 1}$	${\ displaystyle (- \ infty, \ infty)}$	${\ displaystyle C ^ {\ infty}}$
Passo binário	${\ displaystyle {\ begin {cases} 0 & {\ text {if}} x <0 \\ 1 & {\ text {if}} x \ geq 0 \ end {cases}}}$	${\ displaystyle {\ begin {cases} 0 & {\ text {if}} x \ neq 0 \\ {\ text {undefined}} & {\ text {if}} x = 0 \ end {cases}}}$	${\ displaystyle \ {0,1 \}}$	${\ displaystyle C ^ {- 1}}$
Logística , sigmóide ou etapa suave	${\ displaystyle \ sigma (x) = {\ frac {1} {1 + e ^ {- x}}}}$	${\ displaystyle f (x) (1-f (x))}$	${\ displaystyle (0,1)}$	${\ displaystyle C ^ {\ infty}}$
Tangente hiperbólica ( tanh )	${\ displaystyle \ tanh (x) = {\ frac {e ^ {x} -e ^ {- x}} {e ^ {x} + e ^ {- x}}}}$	${\ displaystyle 1-f (x) ^ {2}}$	${\ displaystyle (-1,1)}$	${\ displaystyle C ^ {\ infty}}$
Unidade linear retificada (ReLU)	${\ displaystyle {\ begin {alinhado} & {\ begin {cases} 0 & {\ text {if}} x \ leq 0 \\ x & {\ text {if}} x> 0 \ end {cases}} \\ { } = {} & \ max \ {0, x \} = x {\ textbf {1}} _ {x> 0} \ end {alinhado}}}$	${\ displaystyle {\ begin {cases} 0 & {\ text {if}} x <0 \\ 1 & {\ text {if}} x> 0 \\ {\ text {undefined}} & {\ text {if}} x = 0 \ final {casos}}}$	${\ displaystyle [0, \ infty)}$	${\ displaystyle C ^ {0}}$
Unidade Linear de Erro Gaussiano (GELU)	${\ displaystyle {\ begin {alinhado} & {\ frac {1} {2}} x \ left (1 + {\ text {erf}} \ left ({\ frac {x} {\ sqrt {2}}} \ direita) \ direita) \\ {} = {} & x \ Phi (x) \ end {alinhado}}}$	${\ displaystyle \ Phi (x) + x \ phi (x)}$	${\ displaystyle (-0,17 \ ldots, \ infty)}$	${\ displaystyle C ^ {\ infty}}$
Softplus	${\ displaystyle \ ln \ left (1 + e ^ {x} \ right)}$	${\ displaystyle {\ frac {1} {1 + e ^ {- x}}}}$	${\ displaystyle (0, \ infty)}$	${\ displaystyle C ^ {\ infty}}$
Unidade linear exponencial (ELU)	${\ displaystyle {\ begin {cases} \ alpha \ left (e ^ {x} -1 \ right) & {\ text {if}} x \ leq 0 \\ x & {\ text {if}} x> 0 \ fim {casos}}}$ com parâmetro ${\ displaystyle \ alpha}$	${\ displaystyle {\ begin {cases} \ alpha e ^ {x} & {\ text {if}} x <0 \\ 1 & {\ text {if}} x> 0 \\ 1 & {\ text {if}} x = 0 {\ text {and}} \ alpha = 1 \ end {cases}}}$	${\ displaystyle (- \ alpha, \ infty)}$	${\ displaystyle {\ begin {cases} C ^ {1} & {\ text {if}} \ alpha = 1 \\ C ^ {0} & {\ text {caso contrário}} \ end {cases}}}$
Unidade linear exponencial em escala (SELU)	${\ displaystyle \ lambda {\ begin {cases} \ alpha (e ^ {x} -1) & {\ text {if}} x <0 \\ x & {\ text {if}} x \ geq 0 \ end { casos}}}$ com parâmetros e ${\ displaystyle \ lambda = 1.0507}$ ${\ displaystyle \ alpha = 1,67326}$	${\ displaystyle \ lambda {\ begin {cases} \ alpha e ^ {x} & {\ text {if}} x <0 \\ 1 & {\ text {if}} x \ geq 0 \ end {cases}}}$	${\ displaystyle (- \ lambda \ alpha, \ infty)}$	${\ displaystyle C ^ {0}}$
Unidade linear retificada com vazamento (ReLU com vazamento)	${\ displaystyle {\ begin {cases} 0,01x & {\ text {if}} x <0 \\ x & {\ text {if}} x \ geq 0 \ end {cases}}}$	${\ displaystyle {\ begin {cases} 0,01 & {\ text {if}} x <0 \\ 1 & {\ text {if}} x \ geq 0 \ end {cases}}}$	${\ displaystyle (- \ infty, \ infty)}$	${\ displaystyle C ^ {0}}$
Unidade linear retificada paramétrica (PReLU)	${\ displaystyle {\ begin {cases} \ alpha x & {\ text {if}} x <0 \\ x & {\ text {if}} x \ geq 0 \ end {cases}}}$ com parâmetro ${\ displaystyle \ alpha}$	${\ displaystyle {\ begin {cases} \ alpha & {\ text {if}} x <0 \\ 1 & {\ text {if}} x \ geq 0 \ end {cases}}}$	${\ displaystyle (- \ infty, \ infty)}$	${\ displaystyle C ^ {0}}$
Unidade linear sigmóide (SiLU, redução sigmóide, SiL ou Swish-‍1)	${\ displaystyle {\ frac {x} {1 + e ^ {- x}}}}$	${\ displaystyle {\ frac {1 + e ^ {- x} + xe ^ {- x}} {\ left (1 + e ^ {- x} \ right) ^ {2}}}}$	${\ displaystyle [-0,278 \ ldots, \ infty)}$	${\ displaystyle C ^ {\ infty}}$
Mish	${\ displaystyle x \ tanh (\ ln (1 + e ^ {x}))}$	${\ displaystyle {\ frac {(e ^ {x} (4e ^ {2x} + e ^ {3x} +4 (1 + x) + e ^ {x} (6 + 4x)))} {(2+ 2e ^ {x} + e ^ {2x}) ^ {2}}}}$	${\ displaystyle [-0.308 \ ldots, \ infty)}$	${\ displaystyle C ^ {\ infty}}$
Gaussiana	${\ displaystyle e ^ {- x ^ {2}}}$	${\ displaystyle -2xe ^ {- x ^ {2}}}$	${\ displaystyle (0,1]}$	${\ displaystyle C ^ {\ infty}}$

A tabela a seguir lista as funções de ativação que não são funções de uma única dobra $x$ da camada ou camadas anteriores:

Nome	Equação, ${\ displaystyle f_ {i} \ left ({\ vec {x}} \ right)}$	Derivados , ${\ displaystyle {\ frac {\ partial f_ {i} \ left ({\ vec {x}} \ right)} {\ partial x_ {j}}}}$	Faixa	Ordem de continuidade
Softmax	${\ displaystyle {\ frac {e ^ {x_ {i}}} {\ sum _ {j = 1} ^ {J} e ^ {x_ {j}}}}}$ para $i$ = 1, ..., $J$	${\ displaystyle f_ {i} \ left ({\ vec {x}} \ right) \ left (\ delta _ {ij} -f_ {j} \ left ({\ vec {x}} \ right) \ right) }$	${\ displaystyle (0,1)}$	${\ displaystyle C ^ {\ infty}}$
Maxout	${\ displaystyle \ max _ {i} x_ {i}}$	${\ displaystyle {\ begin {cases} 1 & {\ text {if}} j = {\ underset {i} {\ operatorname {argmax}}} \, x_ {i} \\ 0 & {\ text {if}} j \ neq {\ underset {i} {\ operatorname {argmax}}} \, x_ {i} \ end {cases}}}$	${\ displaystyle (- \ infty, \ infty)}$	${\ displaystyle C ^ {0}}$

^ Aquiestá odelta de Kronecker.

{\ displaystyle \ delta _ {ij}}

^ Por exemplo,poderia ser iterar através do número de kernels da camada de rede neural anterior enquantoitera através do número de kernels da camada atual.

{\ displaystyle j}

{\ displaystyle i}

Languages

In other projects