Situé depuis le Néolithique sur la voie naturelle qui relie le Sundgau et la Suisse, Courtavon a été totalement détruit pendant la guerre de Trente Ans. Ancienne seigneurie des Morimont, transmise ensuite au chevalier Robert de Vignancourt, il reste aujourd'hui, au coeur du village, le rez-de-chaussée du château voûté en berceau et l'escalier à limon hélicoïdal de la famille Vignancourt. Au XIXe siècle un bureau de douanes, deux moulins à blé et à plâtre, une scierie mécanique et deux machines hydrauliques pour battre le blé et fouler le chanvre y sévissaient.
Au sud du village, le lieu-dit le Château porte ce nom en souvenir de la résidence des Morimont, installée entre la Largue et le ruisseau des prés du château qui en alimente les fossés. L'église Saint-Jacques-et-Saint-Christophe, de style néogothique, est consacrée en 1865 et porte les noms des deux maires chargés de sa construction.