Le sommet était occupé par une enceinte fortifiée citée dès 1215 dans un cartulaire  de la chartreuse de Montrieux. sous l'appellation  de CASTRUM DE REVESTO.  Le mot latin castrum désigne un fort, une place  forte. Du côté ouest, se dressent les vestiges du mur d'enceinte auquel se sont adossées  des maisons d'habitation  Celles qu'on voit ont progressivement remplacé les anciennes ; une seule, dont il reste deux pans de murs, à la jonction de la rue Victor Hugo et de la rue de la Tour, n'a pas été reconstruite  ce qui permet de voir le rempart du castrum.

L'enceinte était percée d'une porte qui existe toujours et qui ouvre sur une rampe donnant accès à la plateforme où s'élève la tour. Il y eut d'autres constructions  dans cette enceinte ; en témoignent  un bout de mur à quelques  mètres  de la base sud de l'édifice et des photographies anciennes. Il y a tout lieu de penser que, abandonnées et devenues ruines, elles ont servi de carrière aux villageois, ainsi que le mur de protection. Pour implanter ce castrum, le  "rouca" a été arasé notamment entre la tour et le rempart ouest. Il y a quelques années, des pièces de théâtre furent jouées en plein air sur l'esplanade. Du côté est, très pentu, les masses rocheuses qui pointent gênent la progression vers l'entrée, obstacles naturels conservés par les bâtisseurs.

À côté de là porte du castrum, s'élevait une chapelle dédiée à Saint-Jacques, desservie par les pénitents  blancs, abandonnée lorsque  fut mise en service, en 1679, l'église que nous connaissons. Une maison toute récente a remplacé cette chapelle ; cependant de son mur nord émergent deux pierres de cet édifice religieux.