C'est au XIIIe siècle que fut bâti sur les bords du Doubs, près de Vaufrey, le château de Montjoie. La première mention écrite de celui-ci date de 1300 (castrum de Montjoie). A la même époque, Guillaume, descendant des seigneurs de Glère, s'intitule seigneur de Montjoie. On pense que cette forteresse a été fondée par les comtes de Montbéliard, seigneurs des sires de Montjoie. Au milieu du XVe siècle, le château passe aux mains des Thuillières-Montjoie. Cette forteresse médiévale occupe l'extrémité méridionale d'un éperon barré, orienté nord-sud. Son rôle était de contrôler le défilé que forme à cet endroit la vallée du Doubs. Le plan de la forteresse de pierre est adapté au rocher. Celle-ci se dresse entre le fossé qui barre l'éperon au nord et l'abrupt du rocher du côté est. Des murailles ferment les côtés ouest et sud. Le donjon polygonal massif est enveloppé par une double enceinte renforcée, semble-t-il, par des tours rondes. On pénétrait dans la forteresse à l'angle sud. Le château de Montjoie fut détruit lors de la guerre de Trente Ans, en 1635, par les hommes du futur maréchal de La Force et du cardinal de La Valette. Il ne reste plus que la tour polygonale qui se dresse encore sur trois niveaux et qui atteint aujourd'hui plus de vingt mètres de hauteur. On peut visiter en contrebas la chapelle castrale dans laquelle reposent les restes, encore visibles, de Claudine de Montjoie. Carte 1084, 1 : 25 000, Damvant. Coordonnées : 478, 559 400 / 244 575.