GRADIENT LÀ GÌ TOÁN HỌC

Gradient Descent là nhiều từ được nghe rất nhiều khi học về MLP, Neuron Network, tuyệt CNN. Thân quen em nó nhau thọ rồi, chú ý mặt nhau miết, tưởng mình đã hiểu nhau, mà đến nay mới vẽ lẽ vừa không hiểu biết và vừa gọi sai em nó quá trời… nay nhờ hoàn cảnh đưa đẩy mà mình gọi thêm được em nó chút xíu.Bạn đang xem: Gradient là gì toán học

Gradient - em nó là ai ?

Gradient của một hàm $f(x_1, x_2, …, x_n)$, được cam kết hiệu $ abla f$ là một trong vector $n$ chiều, mà lại mỗi thành phần trong vector đó là một trong đạo hàm riêng rẽ phần (partial derivative) theo từng thay đổi của hàm đó:$$box abla f=(fracdfdx_1, fracdfdx_1, …, fracdfdx_n)$$

Sau đây là 2 điều mình new hiểu ra:

1. Vector gradient trên một điểm cho doanh nghiệp biết tự điểm đó, phía nào làm đội giá trị $f$ những nhất có thể. Nguyên nhân lại là tăng ?

Chấp nhận điều đó lâu rồi, thoải mái và tự nhiên hôm qua mới ngớ ra: vì sao lại là hướng tăng (Hình 1) mà chưa hẳn là hướng bớt ?


*

Hình 1.

Bạn đang xem: Gradient là gì toán học

hướng của vector gradient luôn chỉ về phía cao hơn

Wow wow, là do do ông nào có mang nó bởi vậy :v. Mỗi thành phần của vector gradient là một trong đạo hàm riêng rẽ phần, giờ test xét $fracdfdx$.Định nghĩa đạo hàm theo :$$fracdfdx = fracf(x+epsilon)-f(x)epsilon$$với $epsilon>0$ và đủ nhỏ. Cốt tử đều nằm ở vị trí ông $epsilon$, vày $ epsilon>0$, nên chiều của $fracdfdx$ chỉ còn phụ nằm trong vào tử số.

Từ kia ta xét 2 trường thích hợp $vecAB$ cùng $vecCD$ đã hiểu:

Vector AB: $$fracdfdx=fracf(A) - f(B)x_A - x_B$$Vì $f(A)Vector CD: $$fracdfdx=fracf(D) - f( C)x_D - x_C$$Vì $f( C)

Vì vậy mà lại $fracdfdx$ luôn luôn chỉ về phía $f$ tăng.

2. Vector gradient trực giao (perpendicular) cùng với contour line của hàm

Điều này nghe bực mình + rối rắm cực shock khi cứ nhớ lớp 12, được học đạo hàm của hàm $y = f(x)$ trên $x_0$ chính là pháp con đường của $f(x)$ trên $x_0$. Soát lại, phát âm về đạo hàm (derivative) thấy đâu đâu cũng vẽ hình tiếp đường , cái khỉ gì giờ đồng hồ lại là trực giao ? cùng với vừa nãy nghỉ ngơi trên new nói là hướng làm tăng $f$, sao giờ lại sở hữu chuyện trực giao tại chỗ này ?


*

*

Vậy là Hình 2.a và 2.b đã biểu diễn hai tuyến phố khác nhau: con đường màu đen trong hình 2.a là trang bị thị biểu diễn sự nhờ vào $y$ theo $x$ qua hàm $y=f(x)$, đường màu xanh lá cây trong hình 2.b là một trong đường contour line biểu diễn của hàm $g(x)=0$. Mình bị nhầm lẫn vì chưng vì bấy lâu học những hàm $y=f(x)$, đa phần đều là hàm đối chọi biến, trình diễn đồ thị của nó bằng tọa độ 2 chiều. Tuy vậy với các hàm đa biến đổi (từ 2 biến trở lên), người ta khó biểu diễn đồ thị của hàm bên trên tọa độ 2d nữa, nên bạn ta nghĩ ra cái contour line dễ màn biểu diễn hơn.

Xem thêm: " Decal Phản Quang Giá Bao Nhiêu ? Mua Decal Ở Đâu Tốt

Khi học tập về Linear Regression, $y=WX + b$, tín đồ ta thường rước ví dụ $W$ cùng $X$ có 2 chiều, ví dụ $y=w_1x_1 + w_2x_2 + w_0$, điều này khiến mình can dự đến hàm $y=ax + b$ hồi xưa có học, chỉ với chuyển vế qua thì $x$, $y$ tương ứng $w_1$, $w_2$. Điều này sai hoàn toàn, sai ÁC LIỆT LUÔN. Chính từ trên đây dẫn tới đầy đủ nhầm lẫn lúc đọc mang lại vector gradient.

Nói đúng mực thì $y=ax+b$ chỉ là một trong những phần tử vào tập contour line của $y=w_1x_1 + w_2x_2 + w_0$. Và nhiệm vụ của Linear Regression là đi kiếm một contour line vào tập những contour line làm việc trên.

Về chuyện ngày lớp 12 được dạy rằng đạo hàm của hàm $y=f(x)$ là 1 trong vector bao gồm phương tiếp con đường với trang bị thị $f(x)$. Điều này được lý giải như sau: Hàm $y=f(x)$ là hàm một biến. Trường hợp vẽ theo kiểu contour line, từng contour line sẽ là 1 trong những điểm (hoặc một vài điểm). Do vậy mà tất nhiên nó thoải điều kiện vector gradient trực giao với đường contour line. Không tồn tại mâu thuẫn gì tại đây cả.

P.s: Viết ra new thấy, tuy vẫn hiểu, đã cầm được cái bản chất, mà ý muốn thể hiện nó ra vẫn khó thiệt. Bài bác này quá lủng cũng.