Fief de Robert de Gacé, tuteur du futur Guillaume le Conquérant, Gacé fut fortifiée pendant la Guerre de Cent ans, comme en témoigne son château construit au XIe siècle puis remanié au XIVe siècle par l'ajout des tours dont la tour de défense couronnée de mâchicoulis, et au XVIIe siècle par l'appareillage en briques. En 1800, il fut occupé par les Chouans. Son porche et son cadran solaire sont autant de détails à contempler. Il abrite aujourd'hui la mairie, le musée de la Dame aux Camélias et le musée des minéraux et fossiles. Assurément, la ville de 1900 habitants est le lieu idéal pour une halte avant d'entrer de plain-pied dans le pays d'Auge.