Die Umwandlung der Gesamtanlage in eine ganzjährig bewohnte Adelsburg erfolgte im späten 12. Jahrhundert mit der Errichtung des quadratischen Turmes im Zentrum des Beringes. Es handelt sich um den Sitz des
Viztums, des bischöflichen Verwaltungsbeamten. Sein Treppengiebel, seine gekehlten Fenster sowie sein Treppen- und Latrinenanbau auf der Nordseite gehören zu einem Umbau des 16. Jahrhunderts. Zum ursprünglichen Bestand ist das Mauerwerk mit seinen aus hochkant gestellten Platten bestehenden Eckverband zu zählen, ferner der rundbogige, nachträglich zugemauerte Hocheingang in der Höhe
des dritten Geschosses.
Zu Beginn des 14. Jahrhunderts erfolgte ein weiterer Ausbau der Burganlage. Damals entstand in der Südwestpartie des Areals ein gewaltiger, annähernd quadratischer Bau vom Typ des „wehrhaften Palas“. Dieses Gebäude – es diente dem bischöflichen Meier als Amtssitz – kam so nahe an die ursprüngliche Westringmauer zu liegen, dass deren Verlegung an die äusserste Felskante nötig wurde.
Die Bauuntersuchungen von 1970 bis 1972 haben im Mauerwerk verschiedene Spuren der ursprünglichen Bewohnbarkeit aufgedeckt, Reste der Zwischenböden, des Hocheingangs sowie verschiedener Fenster. In der Ostmauer kam ein Schüttstein zum Vorschein. Hinweise auf eine gewaltsame Zerstörung wurden nicht beobachtet, was für die Geschichte des Bauwerks im Spätmittelalter von Bedeutung ist, befand sich die Anlage zu Beginn des 16. Jahrhunderts in einem ruinösen Zustand.
Da im ausgehenden 15. Jahrhundert durch eine Rüfi, die den grössten Teil des Dorfkerns von Raron verschüttet hatte, die alte Talkirche unbrauchbar geworden war und ein Ersatz notwendigerweise gefunden werden
musste, wurde um 1515 die Ruine des wehrhaften Palas auf der Burg vom Architekten Ulrich Ruffiner zur spät gotischen Hallenkirche umgebaut. An die Ostwand fügte Ruffiner einen mehreckigen Chorbau mit Netzgewölbe sowie einen Glockenturm an. Das Innere des Schiffes, durch zwei mächtige Pfeiler gegliedert, erhielt einen monumentalen Freskenschmuck, dessen Darstellung des Jüngsten Gerichtes besondere Berühmtheit erlangt hat. Erst in nach mittelalterlicher Zeit ist das Pfarrhaus in der Nordwestecke des Burgareals entstanden. Es enthält in seinem Mauerwerk jedoch die Reste älterer Bauphasen.
An der Südseite der Burgkirche befindet sich die Grabstätte des Dichters Rainer Maria Rilke .