Le fichier robots.txt comme son nom l'indique est une ressource placé généralement sur votre site internet et qui a pour vocation d'influencer les robots des moteurs de recherche notamment pour spécifier les pages que vous ne souhaiter pas voir indexées, de donner la chemin vers votre sitemap, etc
