Das Schloss Kastelbell liegt malerisch auf einem mächtigen Felsblock, der am linken Ufer der Etsch aufragt, wo diese aus der Schlucht der Latschander das weite Untervinschgau erreicht. Der Felsen ist nicht hoch, fällt aber gegen das Tal so steil ab, dass die Burg von dieser Südseite einst als von der Natur gesichert gelten konnte.
Die ältere Burg nahm nur die Mitte des Felsens in Anspruch und war klein. Die langgesteckte Anlage, die die Burg seit dem 16. Jh. zeigt, mißt über 70 m in der Länge und kaum 30 m in der Breite.

Wegen seiner Lage musste Schloss Kastelbell im Laufe der Jahre gegen den Berg zu immer wieder von neuem durch den Bau modernerer und stärkerer Wehranlagen geschützt werden.

Schloss Kastelbell, 1238 erstmals erwähnt, wahrscheinlich aber früheren Ursprungs, wurde von den Herren von Montalban erbaut. Dieses einst sehr mächtige Adelsgeschlecht wurde nach 1200 von den Grafen von Tirol bekämpft.

Schloss Kastelbell kam in den Besitz der Landesfürsten. Seit etwa 1300 war Kastelbell auch Sitz einer Gerichtsbarkeit. Nach mehrfachem Besitzerwechsel ging das Schloss 1531 als Pfandlehen an die Familie Hendl über. Die Hendl führten erhebliche Vergrößerungen und bauliche Änderungen durch, denen Schloss Kastelbell seine heutige Form verdankt.

1813 und 1824 wurde das Schloss durch Brände weitgehend zerstört.

Die Grafen Hendl bauten nur kleinen Teil zu Wohnzwecken wieder auf und somit war das Schloss dazu bestimmt, zur Ruine zu verfallen. 1956 wurde dar Gebäudekomplex vom Staat erworben. Am Ende eines sich über Jahrzehnte hinziehenden Gerichtsvorganges, bei dem Graf Siegmund von Hendl und die Republik Italien um den Besitz des Schlosses kämpften, wurde schließlich ein Vergleich geschlossen: dieser ermöglichte dem Staat den Erwerb des Schlosses für 31.068 Lire (€ 16,04).