單變數微積分 05 · 最佳化、related rates、Newton 法
單變數微積分 05 · MIT 18.01 Lec 11–13

最佳化、related rates、Newton 法

先把畫圖收尾:一套固定的步驟,以及「沒有 critical point 時不要愣住」。接著是導數最有名的應用:找最大最小。這裡的教訓是 critical point 只是候選人之一,端點和不連續點也要看,否則可能找到最差的答案。然後是 related rates(幾個一起變化的量,變化率怎麼互相牽動)和 Newton 法(用切線一步步逼近方程式的根)。

▶ Lec 11(50 分) ▶ Lec 12(50 分) ▶ Lec 13(53 分) 18.01SC session 29–33 預計閱讀 2–2.5 小時

讀完這頁你應該能夠

  1. 照固定步驟畫圖:先不連續點和兩端,再 critical points,最後用 \(f'\) 的正負檢查;知道「沒有 critical point 就不能回頭」。
  2. 解最大最小的文字題:畫圖、取變數、用限制條件消去變數,比較 critical points、端點、不連續點的值。
  3. 區分「最小值」和「最小值發生在哪裡」,並用無因次的比例(例如盒子的寬高比 2:1)回答形狀問題。
  4. 用隱函數微分解 related rates:先對時間微分,再代入當下的數字。
  5. 寫出 Newton 法 \(x_{n+1} = x_n - \frac{f(x_n)}{f'(x_n)}\),說明它為什麼收斂得那麼快,以及什麼時候會失敗。

前置知識檢查

1. \(\lim_{x\to-2^+}\frac{x+1}{x+2}\) 是多少?
分子趨近 \(-1\),分母是「比 0 大一點點」,所以是 \(\frac{-1}{0^+} = -\infty\)。第 1 節的第一步就是這個。
2. 底面 \(x\times x\)、高 \(y\) 的無蓋盒子,體積和表面積是什麼?
體積 \(V = x^2y\);表面積 \(A = x^2 + 4xy\)(底一面、側面四片 \(x\times y\),沒有蓋子)。
3. 圓錐的體積公式?
\(\frac13\times\text{底面積}\times\text{高} = \frac13\pi r^2h\)。倒過來放也一樣。
4. \(f(x) = x^2 - 5\) 在 \(x = 2\) 的切線和 \(x\) 軸交在哪裡?
切線 \(y = -1 + 4(x - 2)\),令 \(y = 0\):\(x = 2.25\)。這就是第 10 節 Newton 法的第一步。

00怎麼讀這一頁、素材對照

三堂都是 Jerison。Lec 11 前 44 分鐘把畫圖講完(第 1–3 節),最後幾分鐘開始最大最小(第 4 節);Lec 12 是兩個最佳化例子(第 5–6 節)和測速問題的設定;Lec 13 解完測速(第 7 節),再講圓錐水槽、繩子上的環、Newton 法(第 8–10 節)。

素材對應內容
18.01 錄影Lec 11 畫圖的步驟、\(\frac{x+1}{x+2}\)、\(\frac{x}{\ln x}\);Lec 12 鐵絲、盒子、測速的設定;Lec 13 測速、圓錐、繩子上的環、Newton 法
18.01 講義(2006)Lecture 11「Max/Min Problems」、Lecture 12「Related Rates」、Lecture 13「Newton's Method and Other Applications」(離線包 lec11.pdf–lec13.pdf)
18.01SC session 29–33worked examples:一公升的罐子、穀倉(用隱函數微分最佳化)、Newton 法在 \(x^3 = 0\)(自我測驗用到);解題影片 Minimum Triangle Area、Sliding Ladder、Using Newton's Method
Strang Highlights of Calculus短片 Max and Min and Second Derivative、Linear Approximation/Newton's Method
Strang Calculus第 3 章

01沒有 critical point 的時候 Lec 11 1:05

\(f(x) = \frac{x+1}{x+2}\),Jerison 直接給導數 \(f'(x) = \frac{1}{(x+2)^2}\)。它永遠不是 0,所以沒有 critical point。他說很多「被訓練得像猴子一樣只會照指示做」的學生這時就愣住放棄了,因為沒事可做。這是他要「訓練掉」的反應。2:08

出路是回到微積分以前的技能:描點。最重要的點是不存在的那一點 \(x = -2\)。3:11 那裡不能代值,要從兩邊逼近:

$$f(-2^+) = \frac{-1}{0^+} = -\infty,\qquad f(-2^-) = \frac{-1}{0^-} = +\infty$$

記號 \(-2^+\) 是「比 \(-2\) 大一點點」。學生問分母 \(-2^+ + 2\) 為什麼是 \(0^+\):因為 \(-2^+\) 本身比 \(-2\) 大,加 2 後比 0 大。分子不用加 \(+\),因為它代進去就是確定的 \(-1\)。4:41

接著看兩端(\(x\to\pm\infty\)):分子分母同除以 \(x\),\(\frac{1 + 1/x}{1 + 2/x}\to1\)。7:49 於是有兩條漸近線 \(y = 1\)、\(x = -2\),圖幾乎可以畫完了。

還差一個疑問:右邊那支會不會先往下掉到 1 以下再回來?學生答:不會,因為沒有 critical point。Jerison 說這是「精確正確的答案」:\(f'\) 不是 0,就沒有水平切線,函數不能回頭(can't backtrack)。10:29

代數小技巧

\(\frac{x+1}{x+2} = 1 - \frac{1}{x+2}\)。這樣導數一眼就看出是 \(\frac{1}{(x+2)^2}\),也看出它就是雙曲線 \(-\frac1x\) 平移過來的。12:01

不能說「\(f\) 在整條實數線上遞增」。它在 \((-\infty, -2)\) 遞增、在 \((-2, \infty)\) 遞增,但中間在 \(-2\) 從 \(+\infty\) 跳到 \(-\infty\)。Jerison:忽略這個點,就像畫地圖時忽略聖母峰或大峽谷。14:50

二階導數 \(f'' = \frac{-2}{(x+2)^3}\):\(x > -2\) concave down、\(x < -2\) concave up。它幾乎沒給新資訊,只排除了「扭動」(wiggle)。16:59 學生問:遞增是不是就定義成 \(f' > 0\)?Jerison 說不是。\(f' > 0\) 一定遞增,反過來不一定:\(x^3\) 在 0 的導數是 0,但仍然遞增。18:36

02畫圖的一般步驟 19:40

  1. 描點(微積分以前的技能):(a) 不連續點,特別是無窮大的;(b) 兩端(\(x\to\pm\infty\),或定義域的端點);(c) 容易算的點(選做),例如和座標軸的交點。
  2. 解 \(f'(x) = 0\),點出 critical points 和 critical values。
  3. 判斷每一段(被 critical points 和不連續點隔開)\(f'\) 的正負。這一步必須和 1、2 一致;如果 1、2 做得好,它只是驗算。22:31
  4. \(f''\) 的正負:凹凸和 inflection points。
  5. 全部合起來。

Jerison 說他最挫折的是看學生先做第 3 步、算錯、然後圖怎麼畫都對不起來。先做 1、2,你在第 3 步就會發現自己哪裡算錯。23:02 至於第 4 步:二階導數通常很難算,沒人要求就別做。25:31

03例子:x / ln x 24:58

定義域 \(x > 0\)(\(\ln\) 只對正數有定義),而且 \(x \ne 1\)。

  1. 不連續點:\(\ln1 = 0\),所以 \(x = 1\) 是垂直漸近線:\(f(1^+) = \frac{1}{0^+} = +\infty\),\(f(1^-) = -\infty\)。27:02
  2. 兩端:\(f(0^+) = \frac{0^+}{-\infty} = 0\)。\(x\to\infty\):Jerison 代 \(x = 10^{10}\),\(\frac{10^{10}}{\ln10^{10}}\) 非常大,所以 \(f(\infty) = \infty\)。28:42
  3. critical point:\(f' = \frac{\ln x - 1}{(\ln x)^2}\),在 \(x = e\) 是 0,critical value \(f(e) = e\)。32:27 只有這一個,所以和前一個例子一樣,函數在其他地方不能回頭:從 \((0, 0)\) 往下掉到 \(-\infty\);在 1 的右邊從 \(+\infty\) 下來,在 \((e, e)\) 轉頭,再上去。33:29
  4. 驗算:\(0 < x < 1\) 和 \(1 < x < e\) 時 \(\ln x - 1 < 0\),遞減;\(x > e\) 時遞增。和圖一致。
  5. 裝飾:改寫 \(f' = \frac{1}{\ln x} - \frac{1}{(\ln x)^2}\),看出漏掉的一點:\(x\to0^+\) 時 \(\ln x\to-\infty\),\(f'\to0\),所以圖從原點水平地出發。38:38 \(f'' = \frac{2 - \ln x}{x(\ln x)^3}\),在 \(x = e^2\) 變號:inflection point \((e^2, \frac{e^2}{2})\approx(7.39, 3.69)\)。圖在轉頭之後不久其實又彎回 concave down,「山的斜坡」。43:26
錄影裡的小口誤:代 \(10^{10}\) 時,Jerison 說分母 \(\ln10^{10} = 10\ln10\)「大約 230」,其實是 23.03(\(\ln10\approx2.303\))。結論不受影響:\(\frac{10^{10}}{23}\approx4.3\times10^8\),還是非常大。29:17

2006 講義 Lecture 10–11 用的是倒數 \(\frac{\ln x}{x}\)(第 04 頁自我測驗 6);錄影用 \(\frac{x}{\ln x}\)。

04最大最小:不只看 critical points 44:48

如果圖已經畫好,最大最小一眼就看到。問題是畫圖很花時間(剛剛花了 20 分鐘),所以要找捷徑:不碰二階導數、不做裝飾。45:58

找最大最小的關鍵

只需要比較這三類點的值:critical points、端點、不連續點。

Jerison 說很多微積分課會讓人以為「只要看 critical points」,但那句話還沒說完。47:39 回頭看 \(\frac{x}{\ln x}\):最大最小可能出現的地方有五個(\(x = 0\)、\(1^-\) 的 \(-\infty\)、\(1^+\) 的 \(+\infty\)、\(x = e\)、\(x\to\infty\)),只有一個是 critical point。48:46

05鐵絲圍兩個正方形 Lec 12 1:02

長 1 的鐵絲剪成兩段,各圍成一個正方形。總面積最大是多少?文字題的兩個主要工作:畫圖、取變數。2:10 一段長 \(x\)、另一段 \(1 - x\),邊長 \(\frac x4\)、\(\frac{1-x}4\):

$$A(x) = \left(\frac x4\right)^2 + \left(\frac{1-x}{4}\right)^2,\qquad A'(x) = \frac x8 - \frac{1-x}{8}$$

\(A' = 0\iff x = \frac12\),critical value \(A = 2\cdot\left(\frac18\right)^2 = \frac1{32}\)。6:02

還沒完:要看端點。6:38 \(x\to0^+\):\(A\to\frac1{16}\);\(x\to1^-\):也是 \(\frac1{16}\)。所以圖是兩端在 \(\frac1{16}\)、中間掉到 \(\frac1{32}\)。critical point 給的是最小面積,不是最大!Jerison:不看函數長什麼樣子,大概一半的時候會答錯,而且會得到最差的答案,和你要的正好相反。8:12

學生問:那最大面積是什麼?Jerison 說這有點像陷阱題:最大值 \(\frac1{16}\) 只在極限(整條鐵絲圍一個正方形,另一個縮成 0)才達到,嚴格來說違反題目的規則;但他會回答 \(\frac1{16}\),因為那是答案最有意思的部分。14:22

「最小值」和「最小值在哪裡」 10:31

「最小值是多少?」答案是 \(\frac1{32}\)(minimum value)。「最小值發生在哪裡?」答案是 \(x = \frac12\)。回答「最小值是 \(\frac12\)」是錯的。另外,有人說「minimum point」指的是圖上的點 \((\frac12, \frac1{32})\),用法不統一,只能自己注意。12:41

Demo 1 · critical point 只是候選人

怎麼看:選一個函數,拖 \(x\) 看函數值。圖上的圓點是 critical points,兩端的空心圓是端點的極限值(端點本身可能不在定義域裡)。讀數列出所有候選人的值,並標出哪個是真正的最大、最小。鐵絲題的 critical point 是最小;盒子題的兩端都是無窮大,critical point 才是最小;\(x/\ln x\) 根本沒有最大最小。

06無蓋的盒子 19:08

固定體積 \(V\),找表面積最小的無蓋盒子。Jerison 先給一個事實:最好的盒子底面是正方形(那是另一個最佳化問題:周長固定時面積最大的長方形是正方形)。20:13 底 \(x\times x\)、高 \(y\):

$$V = x^2y\ (\text{固定}),\qquad A = x^2 + 4xy$$

和鐵絲題不同,這裡有兩個變數,但有一個限制條件(constraint)\(V = x^2y\) 把它們綁在一起。解出 \(y = \frac{V}{x^2}\) 代進去:22:30

$$A(x) = x^2 + \frac{4V}{x},\qquad A'(x) = 2x - \frac{4V}{x^2} = 0\iff x^3 = 2V$$

critical point \(x = 2^{1/3}V^{1/3}\)。還沒完:25:38 \(x\) 的範圍是多少?學生先猜上限是 \(\sqrt A\),但 \(A\) 是在變的,固定的只有 \(V\);\(x\) 可以從 0 到 \(\infty\)。27:17 Jerison:大多數問題裡,沒有限制的變數就會跑到無窮大,而無窮大通常是一個重要、又好處理的端點。兩端:\(x\to0^+\) 時 \(\frac{4V}{x}\to\infty\);\(x\to\infty\) 時 \(x^2\to\infty\)。所以唯一的 critical point 是最小。28:58

另一個檢查方法是二階導數判別法:\(A'' = 2 + \frac{8V}{x^3} > 0\),concave up,所以是最小。Jerison 說他「不推薦」:出題時會故意讓它很難用;這題夠簡單才 OK。30:04

更有意義的答案:無因次量 34:02

算出 \(y = 2^{-2/3}V^{1/3}\)、\(A = 3\cdot2^{1/3}V^{2/3}\) 都對,但更好的答案是不依賴尺寸的量:

$$\frac{A}{V^{2/3}} = 3\cdot2^{1/3}\approx3.78,\qquad\frac xy = \frac{2^{1/3}V^{1/3}}{2^{-2/3}V^{1/3}} = 2$$

寬是高的兩倍:2:1 的盒子。不管多大的盒子都一樣,這是形狀(比例)的答案,Jerison 說這是「最乾淨的答案」。35:36 同理,平面圖形要比較周長和面積,應該用「周長平方 / 面積」才是無因次的。

用隱函數微分更快 39:59

不解出 \(y\),把它當 \(x\) 的函數,對兩條式子微分:

$$0 = 2xy + x^2y'\ \Rightarrow\ y' = -\frac{2y}{x};\qquad\frac{dA}{dx} = 2x + 4y + 4xy' = 2x + 4y - 8y = 0\ \Rightarrow\ \frac xy = 2$$

更快,而且直接得到比例。缺點:沒有檢查它是最大、最小還是都不是,還是得回頭看端點。43:26

2006 講義 Lecture 11 用的是無蓋圓柱罐(答案 \(h/r = 1\)),18.01SC 用有蓋的一公升罐(\(h = 2r\),約 5.4 cm × 10.8 cm)。

一句話帶走:最佳化 = 畫圖、取變數、用限制條件消去變數、找 critical points、一定要比較端點;最好用無因次的比例回答。

07Related rates:測速 Lec 12 45:34

Related rates(相關變化率)是「好幾個量一起隨時間變,已知其中一個的變化率,求另一個的」。Jerison 說它其實就是練習設變數、列方程式的另一個藉口。

警察站在離公路 30 英尺處,雷達量到你的車距離 50 英尺、沿著雷達方向以 80 ft/s 接近。速限 65 mph 約 95 ft/s。你超速了嗎?46:36

  • 什麼在變、什麼不變:30 不變(警察停著);車到垂足的距離 \(x\) 在變,雷達距離 \(D\) 也在變,所以都要給字母。此刻 \(x = 40\)(3-4-5 直角三角形)。48:15
  • 已知:\(\frac{dD}{dt} = -80\)(距離在縮短,所以是負的)。Lec 13 1:38

關係式是畢氏定理 \(x^2 + 30^2 = D^2\)。可以解出 \(x\) 再微分,但 Jerison 說那是浪費時間;直接對 \(t\) 隱函數微分:3:14

$$2x\frac{dx}{dt} = 2D\frac{dD}{dt}\quad\Longrightarrow\quad2\cdot40\cdot\frac{dx}{dt} = 2\cdot50\cdot(-80)\quad\Longrightarrow\quad\frac{dx}{dt} = -100\ \text{ft/s}$$

100 ft/s 約 68 mph,超速了,雖然 Jerison 說超這一點大概不會被攔。5:19

Related rates 的鐵則

先微分,再代數字。如果先把 \(x = 40\) 代進去,\(x\) 就變成常數,導數是 0,什麼都算不出來。3:45

08圓錐水槽 5:53

倒放的圓錐,頂部半徑 4 ft、深 10 ft,以 2 ft³/min 注水。水深 5 ft 時,水面上升多快?

  1. 畫剖面:只畫一半的三角形就夠。水面半徑 \(r\)、水深 \(h\),兩個相似三角形給出 \(\frac rh = \frac4{10}\),\(r = \frac25h\)。Jerison 說相似三角形是這類題目「到目前為止最典型」要從圖上讀出的幾何事實。9:50
  2. 公式:\(V = \frac13\pi r^2h\),已知 \(\frac{dV}{dt} = 2\)。
  3. 別忘了問題本身:求 \(h = 5\) 時的 \(\frac{dh}{dt}\)。Jerison 問「少了什麼?」學生答:要求的東西。11:29

代 \(r = \frac25h\):\(V = \frac{\pi}{3}\left(\frac25\right)^2h^3\)。對 \(t\) 微分(不要先解出 \(h\),那只會得到一堆立方根):13:04

$$2 = \frac{dV}{dt} = \frac\pi3\cdot\frac4{25}\cdot3h^2\frac{dh}{dt}\ \xrightarrow{h = 5}\ 2 = 4\pi\frac{dh}{dt}\quad\Longrightarrow\quad\frac{dh}{dt} = \frac{1}{2\pi}\approx0.159\ \text{ft/min}$$

(Jerison 先寫成每秒,學生提醒後改成每分鐘。16:48)學生問:注水速度不就是 2 嗎?Jerison:2 是體積的變化率;水面上升的速度要看水面有多寬,越往上越寬、升得越慢。Related rates 永遠是 chain rule 的關係:\(\frac{dV}{dt} = \frac{dV}{dh}\cdot\frac{dh}{dt}\)。17:21

Demo 2 · 圓錐水槽的水位速度

怎麼看:左邊是剖面,藍色是水;右邊是 \(\frac{dh}{dt}\) 隨水深 \(h\) 的曲線(注水速度固定 2 ft³/min)。拖 \(h\):水淺時水面窄,同樣的體積要把水位推得很高,\(\frac{dh}{dt}\) 很大;越往上越慢。\(\frac{dh}{dt} = \frac{2}{\pi r^2} = \frac{25}{2\pi h^2}\),正好是「體積變化率 ÷ 水面面積」。

09繩子上的環 18:54

Jerison 帶了一個餐巾環和一條登山用的傘繩:繩子兩端固定,環可以沿繩子滑動。兩手一樣高時,環停在中間;一手高一手低時,環停在哪裡?他找兩位學生在黑板上拉著繩子實際描出來。他說這是建懸索橋要解的問題中最簡單的一個。21:33

  • 座標:一端是原點 \((0, 0)\),另一端 \((a, b)\),環在 \((x, y)\)(\(y < 0\))。
  • 物理:環停在位能最低、也就是 \(y\) 最小的地方。23:37
  • 限制條件:繩長固定,26:48
$$\sqrt{x^2 + y^2} + \sqrt{(a-x)^2 + (b-y)^2} = L$$

最難的觀念是:要最小化的是 \(y\) 本身,而 \(y = y(x)\) 是限制條件隱含定義的函數。最低點就是切線水平的地方,\(y' = 0\)。兩端(繩子拉直的兩個極端位置)都比較高,所以最低點一定是 critical point。29:35 這條曲線其實是以兩端為焦點的橢圓,但 Jerison 說這個幾何事實「完全沒用」,寫出橢圓方程式只會更難。31:05

對限制條件隱函數微分,再令 \(y' = 0\),含 \(y'\) 的項全部消失,剩下:34:16

$$\frac{x}{\sqrt{x^2+y^2}} = \frac{a - x}{\sqrt{(a-x)^2 + (b-y)^2}}\quad\Longleftrightarrow\quad\sin\alpha = \sin\beta$$

\(\alpha\)、\(\beta\) 是兩段繩子和鉛垂線的夾角。所以 \(\alpha = \beta\):不管兩手高低差多少,兩段繩子和鉛垂線的夾角都一樣。35:56 力學上這代表兩段繩子張力相等,負重平均分攤,這也是懸索橋的原理。36:58 換個角度看,這就是橢圓的反射性質:從一個焦點出發的光,打到橢圓鏡面後一定經過另一個焦點。他提到 DeCordova 美術館一個迷你高爾夫作品「一桿進洞」:球座在一個焦點、洞在另一個焦點,怎麼打都進。39:32

背景補充:環的確切位置(2006 講義)

Jerison 說公式很亂,課堂上沒推,留在講義。由 \(\alpha = \beta\):兩段繩的水平分量加起來是 \(a = L\sin\alpha\),鉛直分量加起來是 \(b - 2y = L\cos\alpha\),所以

$$\sin\alpha = \frac aL,\qquad y = \frac12\left(b - \sqrt{L^2 - a^2}\right),\qquad x = \frac a2\left(1 - \frac{b}{\sqrt{L^2 - a^2}}\right)$$

例如 \(a = 4, b = 1, L = 6\):\(x\approx1.553\)、\(y\approx-1.736\),兩個角的 \(\sin\) 都是 \(\frac46 = 0.667\)。\(b = 0\) 時 \(x = \frac a2\),回到正中間。

Demo 3 · 環停在哪裡

怎麼看:左端固定在原點,右端在 \((4, b)\),繩長 \(L\)。淡色虛線是環所有可能的位置(橢圓的下半部)。綠點是用講義公式算的最低點,讀數另外把曲線切成 2000 小段找最低點,兩者應該一致。量一下兩個夾角:拉高或放低右端,\(\alpha\) 和 \(\beta\) 永遠相等。

10Newton 法 40:40

Jerison 說這是微積分最偉大的應用之一,計算機算很多東西的核心就是它。例子:解 \(x^2 = 5\),也就是求 \(\sqrt5\)。41:10

標準形式:令 \(f(x) = x^2 - 5\),解 \(f(x) = 0\)。一次函數太無聊,二次已經有意思,三次以上連公式都沒有,數值方法就是唯一的路。42:13

想法:從一個猜測 \(x_0\) 出發(\(\sqrt5\) 接近 \(\sqrt4 = 2\),取 \(x_0 = 2\)),假裝函數是線性的:用切線代替曲線,找切線和 \(x\) 軸的交點當新的猜測。43:17 這就是第 04 頁的線性近似。切線 \(y - y_0 = m(x - x_0)\),令 \(y = 0\):45:29

$$x_1 = x_0 - \frac{y_0}{m} = x_0 - \frac{f(x_0)}{f'(x_0)}$$
Newton 法 $$x_{n+1} = x_n - \frac{f(x_n)}{f'(x_n)}$$
手算:\(\sqrt5\)

\(f'(x) = 2x\),\(x_{n+1} = x_n - \frac{x_n^2 - 5}{2x_n} = \frac12x_n + \frac{5}{2x_n}\)。49:11

nxₙ|√5 − xₙ|
022.4 × 10⁻¹
19/4 = 2.251.4 × 10⁻²
2161/72 = 2.23611114.3 × 10⁻⁵
32.23606797794.2 × 10⁻¹⁰

Jerison 的數字一樣:\(n = 2\) 已經是「你這輩子需要的」精度,\(n = 3\) 準到計算機的極限。51:50 注意誤差的指數:−1、−2、−5、−10,每一步正確位數大約加倍(2006 講義用 \(\sqrt3\) 做同樣的表,也這樣總結)。原因:線性近似的誤差和距離的平方同階(第 04 頁第 8 節),所以新誤差 ≈ 常數 × 舊誤差²。

什麼時候會出問題(2006 講義、18.01SC)

  • 找到意料外的根:\(x^2 - 3\) 從 \(x_0 = -1\) 出發,收斂到 \(-\sqrt3\),不是 \(+\sqrt3\)。
  • 完全失敗:可能來回循環,例如 \(f(x) = x^3 - 2x + 2\) 從 \(x_0 = 0\):\(x_1 = 1\)、\(x_2 = 0\)、\(x_3 = 1\)……永遠不收斂。(講義只畫示意圖;這個具體的函數是我們補的例子。)
  • 變慢:18.01SC 的例題 \(f(x) = x^3\):\(x_{n+1} = x_n - \frac{x_n^3}{3x_n^2} = \frac23x_n\),每步只乘 \(\frac23\),永遠到不了 0,收斂也只是線性的。原因是 0 這個根同時是 \(f'\) 的根(切線在那裡是水平的)。
  • 起點附近 \(f'\) 接近 0 時,切線幾乎水平,下一步會被甩到很遠。

Demo 4 · Newton 法的切線鋸齒

怎麼看:選函數、拖起點 \(x_0\)、選步數。每一步畫出切線(橙色)和它在 \(x\) 軸上的交點,再垂直回到曲線。表格列出每一步的 \(x_n\) 和誤差:\(x^2 - 5\) 的誤差指數大約每步加倍;\(x^3\) 每步只縮成 \(\frac23\);\(x^3 - 2x + 2\) 從 0 出發會在 0 和 1 之間打轉,把起點稍微移開(例如 \(-1.5\))就會收斂到唯一的實根 \(\approx-1.769\)。
一句話帶走:Newton 法 = 反覆用切線(線性近似)找零點;在單根附近每步正確位數加倍,但起點、重根、水平切線都可能讓它出錯。

11在 deep generative models 哪裡用到

這一頁在 DGM 的樣子
最佳化 = 找 \(f' = 0\)maximum likelihood:一維 Gaussian 的 log-likelihood 對 \(\mu\) 微分設為 0,得到 \(\mu\) = 樣本平均;對 \(\sigma\) 微分設為 0,得到樣本變異數。神經網路沒有封閉解,就改用 gradient descent 一步步走向 \(\nabla L = 0\)
不要忘了端點和不連續點Gaussian mixture 的 likelihood 在某個分量的 \(\sigma\to0\)、而且中心剛好落在一個資料點上時會趨近 \(+\infty\):「最大值」出現在參數空間的邊界,而且是一個退化、沒用的解。這和鐵絲題「critical point 是最差解、最好的在端點」是同一個教訓;實務上要加限制或正則化
Newton 法對 \(f'\) 用 Newton 法,就是最佳化用的 Newton 法:\(\theta_{n+1} = \theta_n - \frac{f'(\theta_n)}{f''(\theta_n)}\),等於每一步用二次近似(第 04 頁)跳到拋物線的谷底。收斂極快,但需要二階導數(Hessian),大模型負擔不起,所以用 gradient descent/Adam
Related rates = chain rule 對時間訓練過程中參數隨步數變,loss 的變化率是 \(\frac{dL}{dt} = L'(\theta)\frac{d\theta}{dt}\);gradient flow \(\frac{d\theta}{dt} = -L'(\theta)\) 代進去得 \(\frac{dL}{dt} = -(L')^2\le0\),loss 一定下降。diffusion 裡雜訊強度、訊雜比也都是時間的函數,用 chain rule 換變數
限制條件下的最佳化盒子題的「用限制條件消去變數」到了多變數會變成 Lagrange multipliers(18.02,2006 講義最後也提到)。例如「固定變異數下 entropy 最大的分佈是 Gaussian」就是這樣證的
在 DGM 哪裡用到:梯度、Hessian 與二次近似的多變數版本見補充課 A §02、§07;gradient flow 這種「參數隨時間的 ODE」見補充課 B。

常見誤解

誤解:「最大最小一定在 critical point」。還要看端點和不連續點。鐵絲題只看 critical point 會得到最小面積,正好是最差的答案(第 5 節)。
誤解:「\(f'\) 處處為正,所以 \(f\) 在整條線上遞增」。\(\frac{x+1}{x+2}\) 在 \(-2\) 斷開、從 \(+\infty\) 跳到 \(-\infty\)。只能說在每一段上遞增(第 1 節)。
誤解:「最小值是 \(\frac12\)」。\(\frac12\) 是最小值發生的位置,最小值是 \(\frac1{32}\)。
誤解:「related rates 可以先把當下的數字代進去」。先代數字,變數就成了常數,導數變 0。先微分,再代入(第 7 節)。
誤解:「注水 2 ft³/min,水位就升 2 ft/min」。體積的變化率和高度的變化率是兩回事,中間差一個 \(\frac{dV}{dh}\) = 水面面積(第 8 節)。
誤解:「Newton 法一定會收斂到離起點最近的根」。可能跑到別的根、來回循環,或在重根處變慢(第 10 節)。
講義和錄影的小差異、筆誤。2006 講義 Lecture 13 的圖把第二段繩長標成 \(\sqrt{(a-x)^2 + (b - y^2)}\),應為 \((b-y)^2\);Lecture 13 Fig. 5(循環的例子)的圖說誤植成和 Fig. 4 一樣的「converging to an unexpected root」。錄影第 3 節的「230」見該節。

自我測驗

1. 畫 \(y = \frac{x}{x^2 + 1}\) 的圖:兩端、critical points、最大最小。
沒有不連續點。兩端:\(x\to\pm\infty\) 時 \(y\to0\)。\(y' = \frac{1 - x^2}{(x^2+1)^2}\),critical points \(x = \pm1\),值 \(\pm\frac12\)。奇函數。\(x = 1\) 是最大 \(\frac12\),\(x = -1\) 是最小 \(-\frac12\)(兩端都趨近 0,比 \(\pm\frac12\) 不極端)。
2. (18.01SC 例題)體積 1 公升的有蓋圓柱罐,表面積最小時半徑和高是多少?
\(V = \pi r^2h = 1\),\(S = 2\pi r^2 + 2\pi rh = 2\pi r^2 + \frac2r\)。\(S' = 4\pi r - \frac{2}{r^2} = 0\Rightarrow r^3 = \frac{1}{2\pi}\)。兩端 \(S\to\infty\),所以是最小。\(h = \frac{1}{\pi r^2} = 2r\):高等於直徑。以公分計 \(r\approx5.42\)、\(h\approx10.84\)。
3. (18.01SC 例題)穀倉 = 圓柱 + 半球屋頂,有地板。體積固定,表面積最小的形狀?用隱函數微分。
\(S = 2\pi rh + 2\pi r^2 + \pi r^2\),\(V = \pi r^2h + \frac23\pi r^3\)。對 \(r\) 微分 \(V\):\(0 = \pi r^2h' + 2\pi rh + 2\pi r^2\),\(h' = -\frac{2(h+r)}{r}\)。代入 \(S' = 2\pi h + 2\pi rh' + 6\pi r = -2\pi h + 2\pi r\),所以 \(h = r\)。沒有地板時 \(S' = -2\pi h < 0\),表面積一直減少到 \(h = 0\):最好的是一個半球,最小值在端點。
4. 梯子長 10 ft 靠牆,底部以 1 ft/s 往外滑。底部離牆 6 ft 時,頂端下滑多快?
\(x^2 + y^2 = 100\),微分 \(2xx' + 2yy' = 0\)。\(x = 6\) 時 \(y = 8\),\(y' = -\frac{x}{y}x' = -\frac68 = -0.75\) ft/s。
5. 用 Newton 法從 \(x_0 = 1\) 求 \(\sqrt[3]{2}\),算兩步。
\(f = x^3 - 2\),\(x_{n+1} = x_n - \frac{x_n^3 - 2}{3x_n^2} = \frac23x_n + \frac{2}{3x_n^2}\)。\(x_1 = \frac23 + \frac23 = \frac43\approx1.3333\);\(x_2 = \frac89 + \frac{2}{3\cdot\frac{16}{9}} = \frac89 + \frac38 = \frac{91}{72}\approx1.2639\)。真值 1.259921。
6. (18.01SC 例題)為什麼 Newton 法對 \(x^3 = 0\) 永遠到不了 0?
\(x_{n+1} = \frac23x_n\),\(x_n = \left(\frac23\right)^nx_0\),只要 \(x_0\ne0\) 就永遠不是 0(只會趨近)。而且每步只縮成 \(\frac23\),是線性收斂,不是 \(\sqrt5\) 那種位數加倍。
7. 盒子問題裡,為什麼 Jerison 說 \(\frac xy = 2\) 比 \(x = 2^{1/3}V^{1/3}\) 更好?
\(\frac xy\) 是無因次的(英寸除以英寸),和盒子大小無關,描述的是形狀;任何尺寸的最佳盒子都是寬:高 = 2:1。\(x\) 的值則依賴 \(V\) 和單位。

延伸閱讀

  • 18.01 Fall 2006 講義 Lecture 11(\(\frac{\ln x}{x}\)、無蓋罐、鐵絲)、Lecture 12(測速、圓錐、衛星與拋物鏡的誤差問題)、Lecture 13(Newton 法、兩種失敗、繩子上的環與 \(x, y\) 的公式):離線包 lec11.pdf–lec13.pdf。
  • 18.01SC session 30、31、33 的 worked examples(離線包 MIT18_01SCF10_ex30prb.pdf、ex31prb.pdf、ex33prb.pdf):自我測驗 2、3、6 題。

上一頁:04 線性與二次近似、畫函數圖形 下一頁:06 均值定理、反導數、微分方程