Le nom Quimperlé vient de kemper, qui signifie " confluent " en breton, et de Ellé, l'une des rivières qui traversent la ville. La ville se situe en effet au point de confluence de l'Ellé et de l'Isole. Celles-ci se rejoignent pour donner naissance à la Laïta, une ria longue d'une quinzaine de kilomètres soumise à la marée, qui fut navigable et permit à Quimperlé d'être un port de mer. La ville basse s'est développée autour de l'église Saint-Colomban dont il ne subsiste plus qu'une façade aujourd'hui, et de l'abbaye bénédictine Sainte-Croix de Quimperlé, tandis que la ville haute s'est développée autour de l'église Saint-Michel et de sa place.