Perceptron et descente de gradient

La descente de gradient permet d'ajuster les paramètres W et b pour minimiser les erreurs, en calculant la dérivé ou gradient de la fonction coût.

• Descente de gradient
  ${\displaystyle W_{t+1}=W_t-\alpha \frac{\partial L}{\partial W_t}}$
• Décomposition du gradient en dérivées partielles
  ${\displaystyle \frac{\partial L}{\partial w_1}=\frac{\partial L}{\partial a}\times \frac{\partial a}{\partial z}\times \frac{\partial z}{\partial w_1}}$
  ${\displaystyle \frac{\partial L}{\partial w_2}=\frac{\partial L}{\partial a}\times \frac{\partial a}{\partial z}\times \frac{\partial z}{\partial w_2}}$
  ${\displaystyle \frac{\partial L}{\partial b_{}}=\frac{\partial L}{\partial a}\times \frac{\partial a}{\partial z}\times \frac{\partial z}{\partial b_{}}}$
• Rappel des fonctions de classification, activation et coût
  ${\displaystyle z=w_1{x}_1+w_2{x}_2+b}$
  ${\displaystyle a=\frac{1}{1+e^{-z}}}$
  ${\displaystyle L=-\frac{1}{m}\sum _{i=1}^m{y}_{i}log\left(a_i\right)+\left(1-y_i\right)log\left(1-a_i\right)}$
  avec ${\displaystyle a_i=a\left(z_i\right)}$
• Dérivée de L par rapport à a
  ${\displaystyle \frac{\partial L}{\partial a}=-\frac{1}{m}\sum _{i=1}^m\frac{y_i}{a_i}-\frac{1-y_i}{1-a_i}}$
  ${\displaystyle =-\frac{1}{m}\sum _{i=1}^m\frac{y_i\left(1-a_i\right)-\left(1-y_i\right)a_i}{a_i\left(1-a_i\right)}}$
  ${\displaystyle =-\frac{1}{m}\sum _{i=1}^m\frac{y_i-a_i}{a_i\left(1-a_i\right)}}$
• Dérivée de a par rapport à z
  ${\displaystyle \frac{\partial a}{\partial z}=\frac{-e^{-z}}{-{\left(1+e^{-z}\right)}^2}}$
  ${\displaystyle =\frac{e^{-z}}{{\left(1+e^{-z}\right)}^2}}$
  ${\displaystyle =\frac{1}{1+e^{-z}}\times \frac{e^{-z}}{1+e^{-z}}}$
  ${\displaystyle =a\times \frac{1-1+e^{-z}}{1+e^{-z}}}$
  ${\displaystyle =a\times \left(\frac{1+e^{-z}}{1+e^{-z}}-\frac{1}{1+e^{-z}}\right)}$
  ${\displaystyle =a\left(1-a\right)}$
• Dérivée de z par rapport à w₁, w₂ et b
  ${\displaystyle \frac{\partial z}{\partial w_1}=x_1}$
  ${\displaystyle \frac{\partial z}{\partial w_2}=x_2}$
  ${\displaystyle \frac{\partial z}{\partial b}=1}$
• Calcul du gradient par rapport à w₁
  ${\displaystyle \frac{\partial L}{\partial w_1}=-\frac{1}{m}\sum _{i=1}^m\frac{y_i-a_i}{a_i\left(1-a_i\right)}\times a_i\left(1-a_i\right)\times x_1}$
  ${\displaystyle =-\frac{1}{m}\sum _{i=1}^m\left(y_i-a_i\right)x_1}$
  ${\displaystyle =\frac{1}{m}\sum _{i=1}^m\left(a_i-y_i\right)x_1}$
  on obtient le gradient par rapport à w₂ et b en remplaçant x₁ par x₂ et 1
• Gradients
  ${\displaystyle \frac{\partial L}{\partial w_1}=\frac{1}{m}\sum _{i=1}^m\left(a_i-y_i\right)x_1}$
  ${\displaystyle \frac{\partial L}{\partial w_2}=\frac{1}{m}\sum _{i=1}^m\left(a_i-y_i\right)x_2}$
  ${\displaystyle \frac{\partial L}{\partial b}=\frac{1}{m}\sum _{i=1}^m\left(a_i-y_i\right)}$

---

Machine Learnia. Le perceptron - Deep Learning (02), 06/2021.