Milhac était à l'origine située sur un itinéraire bis entre Gourdon et la vallée de la Dordogne, évitant aux marchands de rencontrer les mauvais génies qui peuplaient alors le marécage de la Germaine ou Marcillande. Entre histoire et légende, Milhac nous raconte en creux un récit médiéval encore prégnant. Il suffit pour cela de lever les yeux vers le château construit au bord d'une grande falaise ; il subit bien des remaniement à travers les siècles. A le regarder de plus près, on imaginera les pillages, les assauts et les incendies qui en modifièrent constamment ses lignes jusqu'au XXe siècle où il fut réhabilité et transformé en gîte.