A função de ativação desempenha um importante papel em uma rede neural artificial ao fazer uma transformação não linear dos dados de entrada, o que possibilita a rede ser capaz de aprender padrões complexos. Apesar de ser um campo de estudo antigo e muito consolidado, ainda existe muito interesse em descobrir novas funções de ativação que possam acelerar o treinamento e aumentar a performance das redes neurais. Estudos recentes tem demonstrado os potenciais das funções de ativação que possuem pesos e são capazes de se adaptarem a partir dos dados de entrada durante o processo de treinamento. Também, tem havido crescente interesse nas funções periódicas que são capazes de aprender padrões globais melhorando a generalização dos modelos. Seguindo esses passos, este trabalho tem o objetivo de avaliar o desempenho da função de ativação chamada GLN, recentemente proposta e que possui esses elementos, sendo treinável e cuja característica fundamental é usar duas funções de ativação que se complementam, uma com propriedade local e outra com propriedade global, afim de investigar o seu desempenho em tipos de
problemas não testados, como de compactação e classificação de imagens e classificação multiclasse. Também, propõe, e avalia, outras variações da função GLN utilizando em sua composição funções de ativação como as funções ReLU e Mish como alternativas para a componente local e a função recém proposta cosseno crescente como alternativa à componente global do GLN. Foram empregados datasets com características variadas e muito utilizados como benchmarking pela comunidade científica. O treinamento da rede usou o método de validação cruzada k-fold para garantir uma avaliação robusta e, para cada função de ativação avaliada, foram criados quatro modelos com dois valores diferentes para o tamanho do batch e dois métodos de inicialização dos pesos de modo a não restringir o estudo à parâmetros específicos que podem beneficiar alguma função específica. Também foram realizadas pelo menos 30 rodadas de treinamento para cada modelo, de modo a realizar uma análise da significância estatística pelo método KS-Teste e comprovar se as diferenças nos resultados encontrados são relevantes. Os resultados demostraram que o GLN é capaz de se adaptar e consegue encontrar, com as funções empregadas em sua composição, uma combinação eficiente, sendo, de modo geral, estatisticamente similares aos melhores resultados das funções individuais e em alguns casos superior. Os resultados trouxeram mais evidências para o fato que não há uma função de ativação ideal para todos os tipos de problemas e situações, e que o GLN, e suas variações, podem ser alternativas muito interessantes como função em diversos cenários.
Programa de Pós-Graduação em