2.3 激活函数:流水线上的非线性阀门


文档摘要

2.3 激活函数:流水线上的非线性阀门 本节摘要:激活函数对特征图逐元素做一次非线性变换——最常用的 ReLU 只做一件事:负数归零、正数放行。它是整条流水线里唯一零参数却不可省的工位:拿掉它,一百层卷积也会塌缩成一次线性变换。本节用实验证明这种塌缩,比较 Sigmoid、tanh、ReLU 三代阀门的脾气,并交代 ReLU 的软肋与后继者的修补思路。 会员。《2.3 激活函数:流水线上的非线性阀门》收录于灏天文库文集《CNN 深度解析:图像识别的基石》,原作者/来源:灏天文库,整理自「灏天文库」,提供技术教程、实践指南与问题解决方案,支持在线阅读、全文检索与知识沉淀,助力开发者系统化学习。本站整理收录,版权归原作者/开源协议所有。

该文档为会员专享,请先登录或注册后再查看


作者与出处
原作者: 灏天文库
来源:灏天文库
整理: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U