Nördlich des Marktes Matrei erhebt sich auf einem nach drei Seiten steil abfallenden „weißen“ Dolomitmarmorfelsen das Schloss Weißenstein, bis ins 14.Jahrhundert als „Schloss Matrey“ bezeichnet. Der „Seinzgerturm“, einst Gefängnis, ist der älteste Teil des vermutlich in der Mitte des 12.Jahrhunderts errichteten Bauwerks. Um 1207 wurden Schloss und Herrschaft an die Erzbischöfe von Salzburg verkauft, die bis 1803 Matrei in Osttirol durch Pfleger verwalteten. Unter Erzbischof Leonhard von Keutschach wurde das Schloss um 1500 weiter ausgebaut und befestigt, verfiel aber dann, als der Pfleger und Amtmann vom Schloss ins Gerichthaus am Hintermarkt übersiedelte. Im 19.Jahrhundert kam es in Privatbesitz, wurde restauriert und kurzfristig zu einem der frühesten Nobelhotels umgebaut (Schlosspark siehe „Naturdenkmäler und naturkundliche Besonderheiten“.) Das Schloss ist heute als Wohnsitz seines Eigentümers in Verwendung und kann nicht besichtigt werden.