ریاضی را حرف بزن · راه کارشناسی ارشد

یادگیری ماشین: مدلی که با رفتن به سرازیری یاد می‌گیرد

مدل قاعده‌ای است با چند دکمه. یادگیری یعنی دکمه‌ها را آن‌قدر بچرخانیم تا خطاها کوچک شوند، و گرادیان می‌گوید به کدام طرف بچرخانیم. این‌جا همهٔ نمادها را می‌بینیم و مدلی که قیمت حدس می‌زند.

پیش‌نویس: نوشتهٔ یک دستیار هوش مصنوعی؛ هنوز معلمی آن را بررسی نکرده است.

الفبا

هر نماد را همان‌طور که زیرش نوشته شده بلند بخوان.

$x \in R^{n}$ بخوان: x پررنگ متعلق است به آر به توان nیعنی: یک نمونه، به شکل فهرستی از n عدد حقیقی (ویژگی‌هایش)
$y^= f_{θ} (x)$ بخوان: وای هت مساوی f تتا از xیعنی: حدس مدل برای x با پارامترهای تتا؛ کلاه یعنی حدس، نه مقدار واقعی
$L (θ) = E [(y^- y)^{۲}]$ بخوان: L از تتا مساوی امید ریاضی وای هت منهای y، به توان ۲یعنی: تابع زیان: به‌طور میانگین حدس‌ها با پارامترهای تتا چقدر خطا دارند
$θ^{*} = arg min_{θ} L (θ)$ بخوان: تتا ستاره مساوی آرگمینِ L از تتا نسبت به تتایعنی: تتا ستاره آن مقدار تتا است که زیان را کمینه می‌کند، نه خودِ کمترین زیان
$\nabla_{θ} L$ بخوان: گرادیان L نسبت به تتایعنی: بردار مشتق‌های جزئی زیان نسبت به پارامترها: تندترین راه سربالایی
$σ (z) = \frac{۱}{۱ + e ^{- z}}$ بخوان: سیگما از z مساوی یک بر یک به‌علاوهٔ e به توان منفی zیعنی: هر امتیاز z را به عددی بین ۰ و ۱ می‌فشارد تا بتوان آن را احتمال خواند
$softmax (z)_{i} = \frac{e ^{z_{i}}}{\sum _{j} e ^{z_{j}}}$ بخوان: سافت‌مکس z، درایهٔ i ام، مساوی e به توان z i بر مجموع e به توان z j به ازای jیعنی: فهرستی از امتیازها را به فهرستی از احتمال‌ها تبدیل می‌کند که مجموعشان ۱ است

داستان: مدلی که قیمت حدس زدن را یاد می‌گیرد

زیرنویس:

روی هر سطر بزن تا کلمه‌هایش را ببینی.

$y^= θ x$ مدلی قیمت یک آپارتمان را از روی اندازه‌اش x حدس می‌زند: حدس برابر پارامتر تتا ضرب در x است.
$(x_{۱}, y_{۱}) = (۱, ۷), (x_{۲}, y_{۲}) = (۳, ۱۱)$ مدل دو آپارتمان دیده است. اندازهٔ ۱ به قیمت ۷ و اندازهٔ ۳ به قیمت ۱۱ فروش رفته است.
$L (θ) = \frac{۱}{۲} E [(y^- y)^{۲}]$ زیان برابر است با نصفِ میانگینِ مربع خطاها.
$L (۰) = ۴۲٫۵$ با تتا برابر ۰ مدل همیشه ۰ حدس می‌زند و زیان ۴۲٫۵ است.
$\nabla_{θ} L (θ) = ۵ θ - ۲۰$ محاسبهٔ شیب زیان نسبت به تتا ۵ تتا منهای ۲۰ را می‌دهد.
$\nabla_{θ} L (۰) = - ۲۰$ در تتا برابر ۰ گرادیان منفی ۲۰ است: با بزرگ‌تر شدن تتا، زیان تند کم می‌شود.
$θ \leftarrow ۰ - ۰٫۱ (- ۲۰) = ۲, L (۲) = ۱۲٫۵$ یک گام به اندازهٔ ۰٫۱ در خلاف جهت گرادیان، تتا را به ۲ می‌برد و زیان به ۱۲٫۵ می‌رسد.
$θ^{*} = arg min_{θ} L (θ) = ۴$ گرادیان جایی صفر می‌شود که ۵ تتا برابر ۲۰ است؛ پس بهترین پارامتر ۴ است.
$y^= ۴ \cdot ۲ = ۸$ حالا برای آپارتمان تازه‌ای با اندازهٔ ۲، حدس مدل ۸ است.

این داستان با کلمه‌ها ۶۱۸ حرف است؛ با نمادها ۱۳۰.

بخوانش

چه می‌گوید؟

$x \in R^{۳}$

$σ (۰) = ۰٫۵$

$θ^{*} = arg min_{θ} L (θ)$

$E [(y^- y)^{۲}] = ۴$

$y^= f_{θ} (x)$

$\nabla_{θ} L (θ_{۰}) = - ۶$

$z \to \infty lim σ (z) = ۱$

$softmax (z)_{۲} = ۰٫۷$

$θ \leftarrow θ - ۰٫۱ \nabla_{θ} L$

$L (θ) = ۰$

$x = (۲, ۰٫۵, ۷) \in R^{۳}$

$θ^{*} = arg min_{θ} L (θ) = ۴, L (θ^{*}) = ۲٫۵$

بنویسش

کدام نمادنویسی همین را می‌گوید؟

تتا را به اندازهٔ گام کوچک اِتا در خلاف جهت گرادیان زیان جابه‌جا کن.

سیگموید z برابر است با یک بر یک به‌علاوهٔ e به توان منفی z.

بهترین پارامترها آن‌هایی هستند که زیان را کمینه می‌کنند.

یک نمونه فهرستی از n عدد حقیقی است.

حدس مدل برای x، با پارامترهای θ.

گرادیان زیان نسبت به θ.

سافتمکس دو امتیاز ۰ و ۰ یک‌دوم و یک‌دوم می‌دهد.

سیگموید یک امتیاز بسیار منفی نزدیک ۰ است.

نزول گرادیان با گام ۰٫۰۱: θ تازه برابر θ قبلی منهای ۰٫۰۱ ضرب در گرادیان است.

در بهترین پارامترها گرادیان زیان صفر است.

بهترین θ آن است که زیان را کمینه می‌کند، و برابر ۴ است.

سیگموید ۲ برابر است با یک بر یک به‌علاوهٔ e به توان منفی ۲.

بسازش

کاشی‌ها را به ترتیب بزن. یکی از کاشی‌ها اضافه است.

زیان برابر است با امید ریاضیِ مربعِ تفاوتِ حدس و مقدار واقعی.

سافت‌مکس z، درایهٔ i ام، برابر است با e به توان z i بر مجموعِ همهٔ e به توان z j.

وای هت مساوی است با f تتا از x.

تتا ستاره مساوی است با آرگمینِ L از تتا نسبت به تتا.

سیگما از z مساوی است با یک بر یک به‌علاوهٔ e به توان منفی z.

θ بعدی برابر است با θ کنونی منهای η ضرب در گرادیان زیان.

چالش‌ها

معماهای خلاقانه‌ای که همهٔ نمادهای این فصل را به کار می‌برند. عجله نکن؛ ساعتی در کار نیست.

1 سه نمونه، سه مدل

مدل f_θ(x) = θx با θ برابر ۱ و ۲ و ۳ روی سه نمونهٔ (x, y) آزموده می‌شود. هر جمله را داوری کن: درست یا نادرست؟

	$(۱, ۲)$	$(۲, ۴)$	$(۳, ۳)$
$θ = ۱$			✓
$θ = ۲$	✓	✓
$θ = ۳$

تیک یعنی مدلِ آن سطر آن نمونه را دقیق حدس می‌زند: ŷ = y. L میانگینِ مربعِ خطاها روی سه نمونه است.

$f_{۲} (۱) = ۲ \land f_{۲} (۲) = ۴$
$\exists θ \in {۱, ۲, ۳} \forall i : y^_{i} = y_{i}$
$arg min_{θ \in {۱, ۲, ۳}} L (θ) = ۲$
$L (۱) < L (۲)$
$\forall θ \in {۱, ۲} \exists i : y^_{i} = y_{i}$

2 حرف‌ها یکی، معنا‌ها فرق دارند

هر سطر را به معنایش وصل کن.

روی یک سطر بزن، بعد روی معنایش.

3 یک گام به سرپایینی

نزول گرادیان: پارامترهای تازه برابرند با پارامترهای قبلی منهای گامی کوچک η ضرب در گرادیان. یکی از کاشی‌ها غلط است. پیدایش کن و درستش کن.

روی کاشیِ غلط بزن.

4 نمرهٔ له‌شده

نمره ln ۳ است. سیگموید چه عددی می‌دهد؟

$σ (ln ۳) = ?$

5 از نمره تا شانس

سه نمره وارد می‌شود، سه احتمال بیرون می‌آید. کدام فهرست است؟

$softmax (ln ۱, ln ۲, ln ۳) = ?$

6 نخستین گام

تابع زیان L(θ) = (θ − ۳)² است. از θ₀ = ۵ شروع کن و یک گام بردار: یک‌چهارم گرادیان را کم کن. به کجا می‌رسی؟

$L (θ) = (θ - ۳)^{۲}, θ_{۰} = ۵, θ_{۱} = θ_{۰} - \frac{۱}{۴} \nabla_{θ} L (θ_{۰}) \Rightarrow θ_{۱} = ?$

7 بگو چقدر غلط است

زیان میانگینِ مربعِ فاصله‌های بین حدس ŷ و مقدار درست y است. آن را به‌صورت تابعی از θ بنویس. بعد مقایسه کن.

نوشتهٔ تو

8 شانس‌هایی که جمعشان یک می‌شود

سافتمکس نمره‌های z را به شانس تبدیل می‌کند. بنویس که هر شانس مثبت است و جمع همهٔ شانس‌ها ۱ است. بعد مقایسه کن.

نوشتهٔ تو

9 چهار جفت امتیاز

چهار فهرست امتیاز برای دو کلاس. تیک نشان می‌دهد احتمال‌هایی که می‌دهند ویژگی ستون را دارند. هر جمله را داوری کن.

	$softmax (z)_{۱} = \frac{۱}{۲}$	$softmax (z)_{۱} > softmax (z)_{۲}$	$softmax (z)_{۱} = \frac{۲}{۳}$	$σ (z_{۱}) = \frac{۱}{۲}$
$z^{(۱)} = (۰, ۰)$	✓			✓
$z^{(۲)} = (۱, ۱)$	✓
$z^{(۳)} = (ln ۲, ۰)$		✓	✓
$z^{(۴)} = (۳, ۳ - ln ۲)$		✓	✓

تیک یعنی امتیازهای آن سطر ویژگی آن ستون را دارند؛ z₁ امتیاز اول است.

$softmax (z^{(۱)}) = softmax (z^{(۲)})$
$softmax (z^{(۳)}) = softmax (z^{(۴)})$
$σ (z_{۱}^{(۲)}) = \frac{۱}{۲}$
$softmax (z^{(۳)})_{۲} = \frac{۱}{۳}$
$softmax (z^{(۴)})_{۱} > \frac{۲}{۳}$
$\exists k : softmax (z^{(k)})_{۱} = ۱$

10 عددهای فشرده

هر خط احتمالی است در لباس مبدل. آن را به مقدارش وصل کن.

روی یک سطر بزن، بعد روی معنایش.

11 کی کیست

شش حرف از الفبای یادگیری. هر کدام را به نقشش وصل کن.

روی یک سطر بزن، بعد روی معنایش.

12 کلاهی برای حدس

خروجی مدل حدس است، نه مقدار واقعی، پس کلاه بر سر دارد. یکی از کاشی‌ها غلط است. پیدایش کن و درستش کن.

روی کاشیِ غلط بزن.

13 خطاهایی که همدیگر را خنثی می‌کنند

زیان میانگینِ مربعِ فاصله‌های حدس و مقدار واقعی است. یکی از کاشی‌ها غلط است. پیدایش کن و درستش کن.

روی کاشیِ غلط بزن.

14 بهترین دکمه‌ها

تتا ستاره آن تنظیم دکمه‌هاست که زیان در آن کمینه است. یکی از کاشی‌ها غلط است. پیدایش کن و درستش کن.

روی کاشیِ غلط بزن.

15 دو گام به پایین

زیان θ² است. از ۸ شروع کن و دو گام گرادیانی بردار، هر یک به اندازهٔ یک‌چهارم گرادیان. کجایی؟

$L (θ) = θ^{۲}, θ_{۰} = ۸, θ_{t + ۱} = θ_{t} - \frac{۱}{۴} \nabla_{θ} L (θ_{t}) ∴ θ_{۲} = ?$

16 بزرگ‌ترین سهم

سه امتیاز، سومی بزرگ‌ترین. کلاس سوم چه احتمالی می‌گیرد؟

$softmax (ln ۲, ln ۲, ln ۴)_{۳} = ?$

17 یک آپارتمان، یک خطا

مدل قیمت را θ ضرب در اندازه حدس می‌زند. آپارتمانی با اندازهٔ ۳ به ۱۲ فروش رفته و θ برابر ۵ است. مربع خطا چند است؟

$f_{θ} (x) = θ x, (x, y) = (۳, ۱۲), θ = ۵ ∴ (y^- y)^{۲} = ?$

18 چند عدد؟

یک نمونه با دوازده اندازه‌گیری توصیف شده است. در کجا زندگی می‌کند؟

$x = (x_{۱}, x_{۲}, \dots, x_{۱۲}) ∴ x \in ?$

19 قاعدهٔ یادگیری

یادگیری یک قاعدهٔ تکرارشونده است: دکمه‌ها را گامی کوچک در خلاف جهت گرادیان زیان جابه‌جا کن. قاعده را بنویس. بعد مقایسه کن.

نوشتهٔ تو

داستان خودت را بگو

یک داستان دوخطی از چیزی که با آزمون و خطا یاد گرفته می‌شود بنویس — یک حدس، یک زیان، یک گام — فقط با نمادها: یک مدل، یک خطا، یک گرادیان، یک تتای بهتر.

فقط روی همین دستگاه نگه داشته می‌شود.

یادگیری ماشین: مدلی که با رفتن به سرازیری یاد می‌گیرد

الفبا

داستان: مدلی که قیمت حدس زدن را یاد می‌گیرد

بخوانش

بنویسش

بسازش

چالش‌ها

1 سه نمونه، سه مدل

2 حرف‌ها یکی، معنا‌ها فرق دارند

3 یک گام به سرپایینی

4 نمرهٔ له‌شده

5 از نمره تا شانس

6 نخستین گام

7 بگو چقدر غلط است

8 شانس‌هایی که جمعشان یک می‌شود

9 چهار جفت امتیاز

10 عددهای فشرده

11 کی کیست

12 کلاهی برای حدس

13 خطاهایی که همدیگر را خنثی می‌کنند

14 بهترین دکمه‌ها

15 دو گام به پایین

16 بزرگ‌ترین سهم

17 یک آپارتمان، یک خطا

18 چند عدد؟

19 قاعدهٔ یادگیری

داستان خودت را بگو

دانلود برای استفاده بدون اینترنت