Die Fitness eines Individuums ist durch verschiedene Fitnessfaktoren gegeben.
Einer der wichtigsten ist, inwieweit das Individuum den gewünschten Originalmultimediadaten (z. B. dem Originalbild) ähnelt. Je mehr das Individuum (bzw. der Phänotyp dessen) den Originalmultimediadaten ähnelt, umso höher sollte die Fitness sein und umso geringer ist der Fehler, den das Individuum für die Darstellung der Originalmultimediadaten macht.
Dieser Fehler (und damit die Fitness des Individuums) kann z. B. über die Summe der (quadratischen) Abweichungen (nicht definierte Punkte liefern einen maximalen Fehler) in den Farben zu einem Punkt zwischen dem Originalbild und dem vom Individuum erzeugten Bild bestimmt werden oder über ein anderes selbstbestimmtes Abstandsmaß.
Wenn die Fitness für einzelne Teilobjekte des Individuums bestimmt wird, kann dies z. B. dadurch realisiert werden, dass in die Rechnung nur der Bereich einbezogen wird, der durch das Teilobjekt überdeckt wird, ein Rand um diesen Bereich noch mit einbezogen wird, oder auch nur das kleinste Quadrat benutzt wird, das dieses Objekt umschließt.
Ein anderer sinnvoller Fitnessfaktor ist die Größe (steigt mit der Anzahl der Elemente) der einzelnen Individuen, um größeren Individuen eine geringere Fitness zu geben als kleineren Individuen, mit dem gleichen Fehler auf den Originalmultimediadaten, und die kleineren Individuen so zu bevorzugen.
Ein weiterer Fitnessfaktor der einbezogen werden kann, ist eine Schätzung über die Zeit, die für das Individuum zur Berechnung des dargestellten Multimediaobjekts (Phänotyp) benötigt wird. Damit kann eventuell sogar die Ausführungsgeschwindigkeit des Algorithmus erhöht werden.