automatic differentiation

Posted on Edited on In

Tianqi yeye 的course orzzzz 两个内容

  • General introduction to different differentiation methods
  • Reverse mode automatic differentiation

读完我reference中的第一篇文章 你应该已经理解了啥是 forward & backwar ad

（扔张图怕以后哈佛大佬的link无了

image-20220927204548536

ok 先不继续看 Tianqi yeye 的ppt 你咋写代码呢？

（这里只考虑 reverse

因为他是 从后向前 一层一层 跑计算图

所以 怎么自动生成计算图？emmm 好问题 有点小难度

image-20220927204702790

伪代码来了 但究竟如何构造计算图 （ 可能有工具？or 什么数据结构的知识？

继续往下学

（明天再来完成

reference

Tensorflow 是如何求导的？ - 知乎 (zhihu.com) bks哈佛的yeye 写的真好

Harvard 2019-CS207 | Homework 4 (harvard-iacs.github.io)

python构建计算图1——简单实现自动求导 - 知乎 (zhihu.com)

Deep Learning From Scratch I: Computational Graphs - sabinasz.net