Основные функции активации представлены на изображениях.
В Pytorch эти функции вызываются через импорт:
import torch.nn.functional as F
Важные аспекты сигмоиды и гиперболического тангенса
У этих функций есть пологие области, на которых производная почти равна 0. Это приводит к затуханию градиента при проходе по алгоритму обратного распространения ошибки.
Поэтому для глубоких слоев используют другие функции. А сигмоиду и гиперболический тангенс
используют часто на выходном слое.
На выходном слое используют:
- для задач регрессии – линейную функцию активации F.linear(x)
- для задач бинарной классификации – сигмоиду F.sigmoid(x)
- для задач многоклассовой классификации – софтмакс F.softmax(x) – её выходы трактуются как вероятности соответствия определенному классу.