Le village s'est fortifié à l'époque médiévale et garde encore aujourd'hui de nombreux vestiges et remparts. Mais ce n'est qu'au milieu du XIIe siècle, en 1153, qu'apparaît le toponyme Castelletum désignant le village actuel. On y accède aujourd'hui par deux portes fortifiées : le Grand Portail, au sud, surmonté d'un blason et où les vestiges de son appareil de défense sont encore visibles, et le Portalet, à l'est. Au sommet du village se dresse l'ancien château, occupé en partie depuis 1969 par l'hôtel de ville. On peut y admirer une impressionnante salle des gardes. En haut du village, un balcon de pierre, accessible par une poterne, le Trou de Madame, permet d'admirer le panorama des vallées environnantes. À l'ouest du château, l'église Saint-Sauveur, construite au XIIe siècle, possède des embrasures en forme de créneaux. Les petites ruelles tortueuses, bordées de vieilles demeures dont l'une d'elles appartint au bailli de Suffren et une autre aux Templiers, sont occupées aujourd'hui par de nombreuses boutiques d'artisans, d'artistes et de galeries de peinture qui exposent leurs productions. L'aspect typique de ce village a inspiré des cinéastes. Marcel Pagnol y tourna La Femme du boulanger, l'un des grands triomphes de Raimu.
Si vous visitez Le Castellet durant l'été, ne manquez pas les fêtes votives à Sainte-Anne, au Brûlat et au Plan du Castellet. A noter enfin que Le Castellet compte depuis 2018 un restaurant triplement étoilé : celui de Christophe Bacquié à l'Hôtel & Spa du Castellet.