Nous considérons le problème du transfert de connaissances à priori dans le contexte de l'apprentissage supervisé de métriques. Si ce cadre a déjà été appliqué avec succès de manière empirique, il n'existe pas de cadre théorique justifiant une telle approche. Dans ce papier nous proposons une justification théorique basée sur la notion de stabilité algorithmique adaptée pour l'apprentissage supervisé de métriques. Nous présentons une nouvelle définition de la stabilité, on-average-replace-two-stability, qui nous permet de montrer des bornes en généralisation avec un taux de convergence rapide lorsque qu'une métrique source auxiliaire est utilisée pour biaiser le terme de régularisation. De plus, nous dérivons des bornes de consistance qui nous permettent de montrer l'intérêt de considérer une régularisation biaisée pondérée pour laquelle nous présentons une solution pour estimer le poids de la métrique source. Nous vérifions empiriquement l'intérêt de notre approche dans un cadre d'apprentissage de métrique standard et sur un problème d'apprentissage par transfert lorsque seulement quelques étiquettes cibles sont disponibles.