Miscellanea

La descente de gradient permet d'ajuster les paramètres W et b pour minimiser les erreurs, en calculant la dérivé ou gradient de la fonction coût. Descente de gradient W t + 1 = W t - α ∂ L ∂ W t Décomposition du gradient en dérivées partielles ∂ L ∂ w 1 = ∂ L ∂ a × ∂ a ∂ z × ∂ z ∂ w 1 ∂ L ∂ w 2 = ∂ L ∂ a × ∂ a ∂ z × ∂ z ∂ w 2 ∂ L ∂ b = ∂ L ∂ a × ∂ a ∂ z × ∂ z ∂ b Rappel des fonctions de classification, activation et coût z = w 1 x 1 + w 2 x 2 + b a = 1 1 + e - z L = - 1 m ∑ i = 1 m y i log ( a i ) + ( 1 - y i ) log ( 1 - a i ) avec a i = a ( z i ) Dérivée de L par rapport à a ∂ L ∂ a = - 1 m ∑ i = 1 m y i a i - 1 - y i 1 - a i = - 1 m ∑ i = 1 m y i ( 1 - a i ) - ( 1 - y i ) a i a i ( 1 - a i ) = ...

La fonction coût (Log Loss) ou maximum de vraisemblance permet de quantifier les erreurs effectuées par un modèle, par exemple le perceptron. Calcul de la vraisemblance : on calcule le produit des probabilité des m données. { V = ∏ i = 1 m P ( Y = y i ) P ( Y = y i ) = a ( z i ) y i + ( 1 - a ( z i ) ) 1 - y i a i = a ( z i ) V = ∏ i = 1 m a i y i × ( 1 - a i ) 1 - y i Mais comme un produit de nombres entre 0 et 1 tend vers 0, on préfère calculer le log de la vraisemblance, sachant que la fonction log conserve le maximum de vraisemblance puisqu'elle est croissante. Calcul du log de la vraisemblance L V = log ( ∏ i = 1 m a i y i × ( 1 - a i ) 1 - y i ) = ∑ i = 1 m log ( a i y i × ( 1 - a i ) 1 - y i ) = ∑ i = 1 m log ( a i y i ) + log ( ( 1 - a i ) 1 - y i ) = ∑ i = 1 m y i log ( a i ) + ( 1 - y i ) log ( 1 - a i ) Puis, pour obtenir la fonction coût, on normalise en...

Le perceptron permet de classer, par exemple, des plantes en 2 catégories : toxiques ou non-toxiques, en fonction de leur caractéristiques : longueur, largeur etc. Détermination de la catégorie ou classe : on calcule la somme des n caractéristiques d'une plante multipliées par un coefficient, plus un biais pour comparer le résultat par rapport à 0. z = ∑ i = 1 n w i x i + b x i  : caractériques ou entrées, ex. longueur, largeur etc. d'une plante w i  : poids ou coefficients à ajuster b : biais ou seuil z : sortie, classe 1 si z ≥ 0 ou classe 0 si z < 0, ex. plante toxique ou non Conversion en probabilité d'appartenir à la classe 1 grâce à la fonction sigmoïde ou logistique a ( z ) = 1 1 + e - z Transformation en loi de Bernoulli P ( Y = y ) = a ( z ) y + ( 1 - a ( z ) ) 1 - y classe 1 : P ( y = 1 ) = a ( z ) classe 0 : P ( y = 0 ) = 1 - a ( z ...