What are the benefits of using the ReLU activation function over the classic sigmoid function in neural networks?
1. Gradient vanishing problem: The max value of the derivative of sigmoid function is 0.25, which can result in the total gradients becoming very small during back propagation. In contrast ReLU has a constant gradient 1 for positive inputs. 
2. Compute efficiency: ReLU can be computed using max(0, x), more efficient than exponential operations in sigmoid function. 
3. Convergence speed: it's also reported that using ReLU as activation function in neural networks converges faster than using sigmoid function.
Quais são os benefícios de usar a função de ativação ReLU sobre a função sigmoide clássica em redes neurais?
1. Problema de desaparecimento de gradiente: O valor máximo da derivada da função sigmoide é 0,25, o que pode resultar em que os gradientes totais se tornem muito pequenos durante a propagação de retorno. Em contraste, o ReLU tem um gradiente constante de 1 para entradas positivas. 2. Eficiência de computação: O ReLU pode ser calculado usando max(0, x, mais eficiente do que as operações exponenciais na função sigmoide. 3. Velocidade de convergência: também é relatado que o uso do ReLU como função de ativação em redes neurais converge mais rápido do que o uso da função sigmoide.