Quem inventou o relu

A função de ativação da unidade linear retificada (RelU) foi proposta por Nair e Hinton 2010 e, desde então, tem sido a função de ativação mais usada para aplicativos de aprendizado profundo com resultados de ponta até o momento [57].

1. Quem introduziu a ativação do RelU?
2. Por que Relu foi introduzido?
3. Por que Relu é famoso?
4. Por que Relu é chamado Relu?

Quem introduziu a ativação do RelU?

Fukushima publicou o artigo Cognitron original em 1975. Essa foi a primeira instância de Relu. Está definido na Equação 2 aqui: Fukushima, k.

Por que Relu foi introduzido?

Atualmente, o Relu é usado como ativação padrão no desenvolvimento convolucional neural e perceptron multilayer. A função de ativação RelU resolve esse problema que permite que os modelos tenham melhor desempenho e aprendam mais rápido. Não há maneiras certas ou erradas de aprender as tecnologias IA e ML - quanto mais, melhor!

Por que Relu é famoso?

Relus são populares porque é simples e rápido. Por outro. No entanto, é mais comum para os papéis de última geração usarem ativações mais complexas.

Por que Relu é chamado Relu?

Relu tornou -se a função de ativação da querida. Abreviação de unidade linear retificada, é uma função linear por partes que é definida como 0 para todos os valores negativos de x e igual a um × x caso contrário, onde a é um parâmetro aprendida.