Modele maximum de vraisemblance

Nous devons d`abord décider quel modèle nous pensons le mieux décrit le processus de génération des données. Cette partie est très importante. À tout le moins, nous devrions avoir une bonne idée de quel modèle utiliser. Cela vient généralement d`avoir une certaine expertise du domaine, mais nous ne discuterons pas ici. Une façon de penser à l`exemple ci-dessus est qu`il existe de meilleurs coefficients dans l`espace de paramètre que ceux estimés par un modèle linéaire standard. La distribution normale est la forme de distribution par défaut et la plus largement utilisée, mais nous pouvons obtenir de meilleurs résultats si la distribution correcte est utilisée à la place. L`estimation de la probabilité maximale est une technique qui peut être utilisée pour estimer les paramètres de distribution indépendamment de la distribution utilisée. Donc, la prochaine fois que vous avez un problème de modélisation à la main, d`abord regarder la distribution des données et de voir si quelque chose d`autre que la normale fait plus de sens! La méthode de probabilité maximale est basée sur la fonction de probabilité, L (θ; x) {displaystyle {mathcal {L}} (Theta ,; x)}. On nous donne un modèle statistique, c`est à dire une famille de distributions {f (⋅; θ) ∣ θ de la valeur} {displaystyle {f (cdot ,; Theta) mid Theta in Theta }}, où θ {displaystyle Theta} désigne le paramètre (éventuellement multidimensionnel) pour le modèle. La méthode de probabilité maximale trouve les valeurs du paramètre Model, θ {displaystyle Theta}, qui maximisent la fonction de vraisemblance, L (θ; x) {displaystyle {mathcal {L}} (Theta ,; x)}. Intuitivement, cela sélectionne les valeurs de paramètre qui rendent les données les plus probables.

Il s`avère que lorsque le modèle est supposé être gaussien comme dans les exemples ci-dessus, les estimations MLE sont équivalentes à la méthode des moindres carrés ordinaires. La technique mathématique générale pour la résolution des MLEs consiste à établir des dérivées partielles de (mbox{ln} L ) (les dérivés sont pris par rapport aux paramètres inconnus) égaux à zéro et résolvant les équations résultantes (généralement non linéaires). Cependant, l`équation pour le modèle exponentiel peut facilement être résolue. En d`autres termes, différentes valeurs de paramètre θ correspondent à différentes distributions dans le modèle. Si cette condition ne tient pas, il y aurait une certaine valeur θ1 de telle sorte que θ0 et θ1 génèrent une distribution identique des données observables. Ensuite, nous ne serions pas en mesure de distinguer ces deux paramètres, même avec une quantité infinie de données, ces paramètres auraient été équivalents observationnellement.