而 Eric Jang 的反对意见主要在于，设计反向传播的生物学可信替代方法压根就是一个错误的问题。BPDL 的重要前提中包含了一个错误的假设：层激活是神经元，权重是突触，因此借助反向传播的学习必须在生物学习中有对应的部分。
尽管 DNN 叫做深度「神经网络」，并在多项任务中展现出了卓越能力，但它们本质上与生物神经网络毫无关联。机器学习领域的一个严重错误就是，对统计学工具和最优控制算法赋予了太多生物学意义。这往往使初学者感到困惑。
DNN 是一系列线性操作和非线性操作的交织，序列应用于实值输入，仅此而已。它们通过梯度下降进行优化，利用一种叫做「反向传播」的动态规划机制对梯度进行高效计算。
动态规划是世界第九大奇迹，Eric Jang 认为这是计算机科学领域 Top 3 成就之一。反向传播在网络深度方面具备线性时间复杂度，因而从计算成本的角度来看，它很难被打败。许多 BPDL 算法往往不如反向传播，因为它们尝试在更新机制中利用高效的优化机制，且具备额外的约束。
如果目标是构建生物学可信的学习机制，那么 DNN 中的单元不应与生物神经元一一对应。尝试使用生物神经元模型模仿 DNN 是落后的，就像用人脑模拟 Windows 操作系统一样。这很难，而且人脑无法很好地模拟 Windows 系统。
我们反过来试一下呢：优化函数逼近器，以实现生物学可信的学习规则。这种方式较为直接：
使用模型神经元和突触连接构建神经网络的生物学可信模型。神经元利用脉冲序列、频率编码或梯度实现互相通信，并遵循任何「生物学可信」的约束。其参数需要训练。
使用计算机辅助搜索，为这些模型神经元设计生物学可信的学习规则。例如，将每个神经元的前向行为和局部更新规则建模为基于人工神经网络的决策。
更新函数逼近器，使生物学模型生成期望的学习行为。我们可以通过反向传播训练神经网络。
用来寻找学习规则的函数逼近器的选择是无关紧要的——我们真正在乎的是生物大脑如何学习像感知这样的困难任务，同时遵循已知的限制条件，如生物神经元不把所有的激活都存储在记忆中，或者只使用局部的学习规则。我们应该利用深度学习的能力找出优秀的函数逼近器，并以此来寻找优秀的生物学习规则。
「元学习」是另一种选择？
「我们应该（人工地）学习如何以生物的方式学习」并非一个全新的观点什么是反向链接，但对于神经科学 + AI 社区来说，这一点还不够明显。元学习（学习如何学习）是近年来兴起的一个领域，它给出了获取能够执行学习行为的系统的方法，该系统有超越梯度下降的潜力。如果元学习可以帮我们找到更加样本高效或者更优秀、更鲁棒的学习器，那它为什么不能帮我们找到遵循生物学习约束的规则呢？其实，最近的几项研究 [1, 2, 3, 4, 5] 已经探索了这一问题。你确实可以使用反向传播来训练一个优于普通反向传播的独立学习规则。
Eric Jang 认为，很多研究者之所以还没理解这个观点（即我们应该用元学习方法来模拟生物学可信的回路），是因为目前算力还不够强，无法同时训练元学习器和学习器。要想制定元优化方案，我们还需要强大的算力和研究基础设施，但 JAX 等工具的出现已经让这一任务变得简单得多。
真正的生物学纯粹主义者可能会说，利用梯度下降和反向传播寻找学习规则不是一种「进化上可信的学习规则」，因为进化明显缺乏执行动态规划甚至是梯度计算的能力。但如果使元学习器在进化上可信，这一点就能得到修正。例如，用来选择优秀函数逼近器的机制其实根本不需要依赖反向传播。相反，我们可以制定一个元 – 元问题，让选择过程本身遵守进化选择的规则，但是选择过程还是使用反向传播。
所以，不要再给反向传播赋予生物学意义了！
原文链接：
百万级文献分析，十万字深入解读
2020-2021 全球AI技术发展趋势报告
报告内容涵盖人工智能顶会趋势分析、整体技术趋势发展结论、六大细分领域（自然语言处理、计算机视觉、机器人与自动化技术、机器学习、智能基础设施、数据智能技术、前沿智能技术）技术发展趋势数据与问卷结论详解，最后附有六大技术领域5年突破事件、Synced Indicator 完整数据。
识别下方二维码什么是反向链接，立即购买报告。
©THE END
娜娜项目网每日更新创业和副业教程
网址：nanaxm.cn 点击前往娜娜项目网
站 长 微 信： nanadh666