BP神经网络与自动控制理论中‘反馈’的区别与相同之处是啥( 二 )
链接：
The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting
基于其博士论文：
Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Science
(PDF) Beyond regression : new tools for prediction and analysis in the behavioral sciences /
■网友
我试着解释清楚吧：
BP是一种在神经网络中实现优化算法的方式，这种操作如果放在框图中确实就是一个方块。不过大多数时候，当神经网络已经搭好后，这个操作按规则来就行了，大多数框架都把这块自动实现了，也就不用显式表达了。
为什么题主觉得这个像反馈？因为反馈描述的是输入和输出之间复杂的因果作用。一个神经网络，给定了target，再用BP训练，确实构成了反馈。
我先把反馈的框图放在这里，然后来一块一块地说：
我们知道反馈系统中sum符号后应该是error，那么输入应该是target，与之相减的应该是prediction，或者说是神经网络的推理结果。那么反馈系统中的B其实是神经网络的前向传播过程，F反而是反向传播过程，输出是网络的权重。
说实话，如果不这么拆开看清楚，确实容易让人晕。
至于为什么自控领域里，那要看你从哪个角度来看神经网络，怎么理解控制。这个反馈结构对理解BP并不是很重要。其实有些非线性系统辨识的书里也会有神经网络啊，auto regression model也可能用神经网络和BP啊。如果再看SGD，那么就更是到处都可能碰到了。再比如在强化学习里，value function和policy function都用神经网络，value evaluation就不算控制，更新policy就算控制，其实都是怎么习惯怎么来罢了。
■网友
单说“反馈”这种机制在生物范畴的神经元里也有，不一定要归到自控范畴。你可以想想，为什么控制里的“反馈“会是这样的一种构造方式。当然很早之前就有人在用BP神经网做智能控制了，数学模型不好确定的时候。
■网友
BP算法不能算反馈吧，他只是多元函数求偏导的一种表达，反馈是需要输出影响控制输入的，相比之下rnn更有自控中反馈的感觉。如果你硬要归于反馈的话，那么所有性能度量的算法都是反馈吧。
■网友
控制是online，神经网络的优化往往是offline。
--------------------------------------------------------
如果写的不清楚或者不恰当，希望直接指出，答主也在学习，会继续修改。
控制：
控制用的是误差修正e = r - r_hat; r是目标量（是已知的，可以理解成监督学习里的输出，在Block Diagram里面往往是放在最左面的），e是误差（注：在在控制里，误差的最小值是已知的）。e的修正方法可以是通过PID和plant不断的修改u_hat以至于e逼近0。在不考虑扰动的情况下，一个稳定的控制系统是一个自回归系统（在无输入的情况下），应该收敛到e等于0（或某一个常数）的。
不准确的说，其原因可以理解为这个控制系统的稳态（t-\u0026gt;inf）是其拉普拉斯变化的零态（S=0）结果（终值定理）。
机器学习：
监督学习的误差修正（欧式距离）可以是J = (y - y_hat)^2; y是输出。J是误差函数（注：在机器学习里面，误差函数的最小值是未知的）。优化的目标为了最小化这个误差函数J。它的修正方法是让J对y求导，得到dj/dy然后推出dj/dw（误差对参数w的导数），通过梯度下降法或者是其他的高阶方法（如牛顿法）来调整w最小化J。优化时候，需要调整参数w。在控制系统中（不考虑设计过程），不存在需要调整的参数。
推荐阅读
- 家长反映老师索贿遭声讨后找人理论被拘20天？河北警方通报
- 学图像处理有哪些不错的书推荐
- 雨下|全球关于禁售燃油车只是理论上可行吗
- 你是怎样快速学习新IT（或者其他）技术（知识）的是先使用起来，还是先学理论知识有没有更好的方式
- 想做软件测试，去哪先获得点经验和理论知识?
- VR电影的创作能否用人的注意力幻象去解决一些关于焦点的理论问题类似变魔术，误导关注点但别的信息在变
- 神经网络算法是否真的属于人工智能范畴
- 是否有可能打造跨“IM软件平台”的IM软件
- vasp理论计算能从事啥样的工作
- 谷歌翻译的「整合神经网络」有多强