Le sénéchal Gui de Montlhéry, dit " le Rouge ", est le plus ancien seigneur de Rochefort reconnu. Au XIe siècle, sur cette ancienne place rebelle gauloise (Rupes Forti), il fit ériger son château fort, qu'il abandonna à la famille de Montfort. La demeure féodale passa ensuite entre les mains d'autres propriétaires, dont Charles de Rohan qui la vendit à son gendre, le marquis de Bernis. Certes, le passé omniprésent témoigne de l'illustration historique de Rochefort, mais la simplicité et la tranquillité des ruelles pavées de grès, fleuries de rosiers et de chèvrefeuille, contribuent aussi grandement de nos jours au charme de la commune.