La maison des Sarrasins tire son nom du terrain sur lequel elle a été bâtie, au pied de la falaise du château de Beynac dont la plus ancienne tour, aujourd’hui démolie, s’appelait la tour des Sarrasins. Il y a sur le terrain une grande citerne médiévale, d’où l’on puisait de l’eau du haut de la falaise, trente-cinq mètres au -dessus.
La maison a été construite en 1607, sous Henri IV, dans la période de prospérité qui a suivi la fin des guerres de religion. Elle a été agrandie au milieu du XVIIIème siècle, sous Louis XV, quand ont été créés les jardins en terrasse. Elle a fait l’objet au début des années 2000 d’une restauration méticuleuse, conduite par le propriétaire des châteaux de Castelnaud et de Marqueyssac, tout proches. Vue de loin, la maison aux enduits ocrés, longue de trente mètres, semble prolonger la falaise de Beynac. Ses murs en pierre de 80 centimètres d’épaisseur gardent la fraîcheur en été et la chaleur en hiver.