Perceptron et fonction coût

La fonction coût (Log Loss) ou maximum de vraisemblance permet de quantifier les erreurs effectuées par un modèle, par exemple le perceptron.

• Calcul de la vraisemblance : on calcule le produit des probabilité des m données.
  ${\displaystyle \{\begin{array}{l}V=\prod _{i=1}^{m}P\left(Y=y_i\right)\\ P\left(Y=y_i\right)=a{\left(z_i\right)}^{y_i}+{\left(1-a\left(z_i\right)\right)}^{1-y_i}\\ a_i=a\left(z_i\right)\end{array}}$
  ${\displaystyle V=\prod _{i=1}^m{a}_i^{y_i}\times {\left(1-a_i\right)}^{1-y_i}}$
  Mais comme un produit de nombres entre 0 et 1 tend vers 0, on préfère calculer le log de la vraisemblance, sachant que la fonction log conserve le maximum de vraisemblance puisqu'elle est croissante.
• Calcul du log de la vraisemblance
  ${\displaystyle LV=log\left(\prod _{i=1}^m{a}_i^{y_i}\times {\left(1-a_i\right)}^{1-y_i}\right)}$
  ${\displaystyle =\sum _{i=1}^{m}log\left(a_i^{y_i}\times {\left(1-a_i\right)}^{1-y_i}\right)}$
  ${\displaystyle =\sum _{i=1}^{m}log\left(a_i^{y_i}\right)+log\left({\left(1-a_i\right)}^{1-y_i}\right)}$
  ${\displaystyle =\sum _{i=1}^m{y}_{i}log\left(a_i\right)+\left(1-y_i\right)log\left(1-a_i\right)}$
  Puis, pour obtenir la fonction coût, on normalise en divisant par m, et on inverse pour calculer le minimum, ce que l'on sait calculer contrairement au maximum.
• Fonction coût
  ${\displaystyle L=-\frac{1}{m}\sum _{i=1}^m{y}_{i}log\left(a_i\right)+\left(1-y_i\right)log\left(1-a_i\right)}$

---

Machine Learnia. Le perceptron - Deep Learning (02), 06/2021.