Die Kullback-Leibler-Divergenz ist ein Maß für die Unterscheidung zwischen zwei Wahrscheinlichkeitsverteilungen.

In der Informationstheorie wird die Kullback-Leibler-Divergenz oft verwendet.

Die Kullback-Leibler-Divergenz misst, wie sehr sich eine Wahrscheinlichkeitsverteilung von einer zweiten unterscheidet.

Die Kullback-Leibler-Divergenz wird auch als relative Entropie bezeichnet.

Die Berechnung der Kullback-Leibler-Divergenz erfordert die Kenntnis der genauen Wahrscheinlichkeitsverteilung.