乐鱼体育-LEYU乐鱼体育官方网站-LEYU SPORTS经典ReLU回归！重大缺陷「死亡ReLU问题」已被解决

　　乐鱼体育官方网站LEYU SPORTS[永久网址:363050.com]是一家线上综合娱乐集团，全球最大线上体育娱乐服务商。乐鱼拥有乐鱼体育,LEYU乐鱼体育官方网站,乐鱼体育靠谱吗,乐鱼体育app,乐鱼体育官网,“欧洲马耳他mga”颁发的合法执照，是受国际认可的合法公司。欢迎注册！

　　在深度学习领域中，对激活函数的探讨已成为一个独立的研究方向。例如 GELU、SELU 和 SiLU 等函数凭借其平滑梯度与卓越的收敛特性，已成为热门选择。

　　尽管这一趋势盛行，经典 ReLU 函数仍因其简洁性、固有稀疏性及其他优势拓扑特性而广受青睐。

　　然而 ReLU 单元易陷入所谓的「死亡 ReLU 问题」， 一旦某个神经元在训练中输出恒为 0，其梯度也为 0，无法再恢复。 这一现象最终制约了其整体效能，也是 ReLU 网络的重大缺陷。

　　正是死亡 ReLU 问题催生了大量改进的线性单元函数，包括但不限于：LeakyReLU、PReLU、GELU、SELU、SiLU/Swish 以及 ELU。这些函数通过为负预激活值引入非零激活，提供了不同的权衡。

　　本文，来自德国吕贝克大学等机构的研究者引入了一种新颖的方法：SUGAR（Surrogate Gradient for ReLU），在不牺牲 ReLU 优势的情况下解决了 ReLU 的局限性。即前向传播仍使用标准 ReLU（保持其稀疏性和简单性），反向传播时替换 ReLU 的导数为一个非零、连续的替代梯度函数（surrogate gradient）。

　　这样可以让 ReLU 在保持原始前向行为的同时，避免梯度为零的问题，从而复活死神经元。

　　本文对 VGG-16 和 ResNet-18 进行了全面的实验，表明 SUGAR 显著增强了这两种架构的泛化能力。本文在Swin Transformer和 Conv2NeXt 等现代架构上对 SUGAR 进行了评估，展示了其适应性和有效性。对 VGG-16 层激活的深入分析表明，当应用 SUGAR 时，激活分布发生了明显的变化，为其在缓解消亡 ReLU 问题中的作用提供了直观证据，同时促进了更稀疏的表示。

　　SUGAR 方法易于实现，并在前向传播中始终采用 ReLU 激活函数。与所提出的 B-SiLU 替代函数结合使用时，VGG-16 在 CIFAR-10 和 CIFAR-100 数据集上的测试准确率分别提升了 10 个百分点和 16 个百分点，而 ResNet-18 与未使用 SUGAR 的最佳模型相比，分别提升了 9 个百分点和 7 个百分点。

　　该公式实现了梯度注入，并确保即使对于负激活也能进行梯度传播。具体来说，利用 [34] 中的乘法技巧，替代梯度函数的直接注入如下：

　　替代函数的选择具有灵活性，可兼容当前最先进的各类激活函数，例如 ELU、GELU、SiLU、SELU 以及 Leaky ReLU（见图 8）。

　　关键区别在于，与 ReLU 不同，这些候选替代函数均具有一个共同特征：对负输入（x0 时的激活输出。

　　在初步研究中，本文意识到需要调整当前的激活函数以适应 SUGAR 的特定用途。因此，接下来本文提出了两个与这些设置良好匹配的新替代函数。

　　B-SiLU：引入了一种名为 B-SiLU（Bounded Sigmoid Linear Unit） 的新型激活函数，它结合了自门控特性和可调下限参数。从数学上讲，该函数可以表示为：

　　总的来说，B-SiLU 在不同架构和数据集上均优于其他替代激活函数，ELU 和 SELU 能够提供可靠的改进，而在这种设置下，SUGAR 从 Leaky ReLU 和 NeLU 中并未获得有意义的益处。

　　当应用于 Conv2NeXt 时，如表 1 所示，SUGAR 在前向和反向传播过程中均始终优于使用 GELU 的基础模型。

　　06月01日，世界最大跨度三塔斜拉桥南主塔封顶，kok官方在线下载，银河国际真人棋牌，澳门棋牌真人，亚洲城下载

　　06月01日，中葡论坛第六届部长级会议在澳门开幕，鸿博网址登录不了，im电竞备用网址，凯时登录手机端，视讯真人游戏在哪注册

　　06月01日，北京住房公积金贷款投放超万亿元，188宝金博在线买球，博狗线路检测，国际象棋真人版视频教程，怎么下载皇冠助手手机版

　　06月01日财政部：将会同相关部门指导地方合理把握专项债券发行节奏中国技术助力贝宁打造西非“白金之国”环球手机版登陆新大发体新大发体育必发手机APP新濠天地买球

　　06月01日关注巴以局势：缺乏干净水 加沙北部民众取水困难最权威的网投平台葡京体育投注登录马经龙头报（荐）滚球20分钟法则

　　06月01日近40名亚洲旅行商长沙采风 助力文旅产业可持续性增长天博体育APP苹果伟德投注站官网pg电子哪个游戏出分彩神88……

　　06月01日，福建厦门消防开展硬核山岳救援演练，大玩家下载，杏鑫平台登录地址，免费白菜送体验金，博鱼开户网址

　　06月01日，花两三万元就能进机场当安检员？，真钱真人赌场网址，百乐门注册登录，澳门英皇网址app，澳门体育彩票APP

　　06月01日“新春花蕾”点缀香港街头火狐体育在线下载凤凰彩票体育外围jdb飞鸟派对抢庄牛牛系统发牌规律

　　06月01日，（新春走基层）重庆綦江：非遗农民版画拓印“龙腾盛世”，云顶投注登录，365bet现场滚球，12bet快速注册，外围足球让球规则

　　06月01日，美国国务院前科学特使：希望美中深化气候合作 世界观，博乐体育APP，t6平台登录网址，ag贵宾会，伟德投注站官网首页

　　06月01日，台风“潭美”已致越南3人死亡 1人失踪，体育买球网推荐，沙巴体育官网，大发体育全站APP，edf壹定发手机官网

　　06月01日（乡村行·看振兴）福建永定：沃柑俏枝头 乡村产业旺AG8登录不了凯发手机娱乐官方网站什么地方买球高手猛料

　　06月01日民调显示：中日超半数受访者视对方为本国重要经贸伙伴巴黎人网投信誉AsiAGaming米乐体育m6官网尊龙凯时app下载

　　06月01日阿尔山获评内蒙古首个国家级旅游度假区皇冠足球为什么用不了了乐鱼全站官网登录沙巴手机版猎人国际真人CS上庄店

　　湖人0-1掘金，乱马1/2重庆万州青杠塝综合枢纽工程建成通车AG游戏平台英亚体育下载地址凯发娱乐官方官网球会体育怎么样

　　RNG战胜UP，中国国奥无缘巴黎奥运会东西问丨周志宏：如何助力两岸清洁能源合作？欧洲杯直播下载奥博官网下载足球外围在哪买AG积分

　　水下舞者在水中自如地控制身体，近来第三位英国王室成员告病【澜湄印象】探访泰国廊开府水生动物博物馆 寻湄公河鱼类之踪伟德betvictot手机版威尼斯人官网主页下载日博体育手机版注册美高梅登入网站

　　曹利国摔跤决赛，满小饱天官赐福新年放大招两次更名三十年逃亡 内蒙古警方破获一起命案积案米乐游戏平台可靠吗淘金官网开户星际娱乐场网址多少亚新在线官网

　　斗鱼创始人陈少杰已取保候审，博士从高校离职被索赔10万吴建华：为光明护航的“多面能手”万博手机网页版下载ag捕鱼乐园攻略及技巧庄园国际真人龙虎斗大唐娱乐注册

　　新疆一大桥桥梁连接处出现裂缝，以色列全境进入紧急状态价差缺口上百万，高位炒房者面临续贷阵痛官网体育在线真钱赌盘注册多宝鱼体育官网哪里可以玩真钱德州