L'origine du nom est incertaine. La maison seigneuriale est le château de la Touche, proche du bourg. Il s'agit d'une petite seigneurie dépendant de la châtellenie de la Benate. Ceci jusqu'en 1556, lorsque, sur ordre d'Henri II, la seigneurie devient châtellenie de la Touche-Limouzinière. Les vestiges du château de la Touche subsistent à ce jour. Le " logis-porte ", de style gothique offre aux passants l'ogive d'un portail avec deux fenêtres à meneaux en croix. Le rez-de-chaussée avec ses arcades lui donne un air ajouré de cloître, complété par une tourelle datant du XVIe siècle.