On les nommait, selon les actes de l'époque, le château inférieur et le château supérieur de Telsperg. Ce n'est que bien après leur abandon qu'ils empruntèrent au hameau aujourd'hui disparu le nom de Vorbourg. Ils étaient habités par les chevaliers de Telsperg, famille de petite noblesse féodale, qui reprirent par la suite diverses charges pour le compte de l'évêque de Bâle. La première mention d'un château n'apparaît que dans un acte de 1234. Mais dès 1131, plusieurs chevaliers de Telsperg sont cités, principalement à titre de témoins. Situés sur l'arête sud-ouest de la cluse de Soyhières, deux bâtiments s'élevaient 150 à 200 mètres au-dessus de la Birse pour surveiller le passage des voyageurs. Le château inférieur a été fortement modifié au cours des siècles. Il forme actuellement la base de la chapelle du Vorbourg. Subsistent à ce jour les fondements des terrasses, la tour Sainte-Anne (recouverte d'un toit en 1705), une citerne cachée sous les appartements, et l'ancienne chapelle adaptée pour former le choeur de la chapelle actuelle. Le château supérieur, au contraire, a été entièrement abandonné et n'a subi aucune modification de structure. Situé 70 mètres plus haut que la chapelle, il a été consolidé et restauré en 1998, pour assurer son maintien. Des trous de poutres, repérés dans le corps du bâtiment lors de la restauration, montrent que la partie la plus élevée comptait au minimum quatre étages et l'autre partie trois étages. Ils étaient recouverts de toitures en bardeaux. A l'intérieur, l'ébauche d'une voûte a été reconstituée. Les deux châteaux de Telsperg apparaissent dans les listes du XVIe siècle parmi les châteaux renversés lors du tremblement de terre de Bâle de 1356. On continuait cependant d'y résider et d'y accueillir le prince-évêque. La chapelle peut être visitée tous les jours, l'accès à l'intérieur de la tour Sainte-Anne est fermé. On peut accéder au pied de la ruine du château supérieur par un sentier pédestre en forte pente. Carte 1086, 1 : 25 000, Delémont. Coordonnées : chapelle 593 900 / 247 650. Ruine 593 750 / 247 675.