Self-supervised training for blind multi-frame video denoising

Nous proposons une approche auto-supervisée pour l'entraînement fin de réseaux de neurones de débruitages de vidéo. Ces réseaux de neurones prédisent chaque image à partir d'un ensemble d'images proches temporellement. Notre approche auto-supervisée bénéficie de la consistance temporelle au sein d'une vidéo en minimisant une fonction de perte qui pénalise la différence entre l'estimation débruitée de l'image au temps t et une image voisine (temporellement), après les avoir alignés en utilisant un flot optique. Nous utilisons cette stratégie pour débruiter une vidéo bruitée avec un bruit inconnu, en appliquant un entraînement fin aux poids d'un réseau préalablement entraîné de manière supervisée. Nous le montrons par plusieurs résultats de débruitages vidéo à l'aveugle avec différentes réalisations de bruit synthétique et de bruit réel. En outre, l'entraînement fin ici proposé peut être appliqué à n'importe quel paramètre contrôlant les perfomances de débruitage du réseau. Nous montrons comment ceci peut-être exploité pour réaliser conjointement le débruitage et l'estimation du niveau de bruit dans le cas de bruit hétéroscédastique.