Das Schloss war ursprünglich der weltliche Sitz des Ortes Hall (Pfleger) während der geistliche Sitz in Pfarrkirchen lag. Etwa zur Zeit der Wittelsbacher Herrschaft über Hall (13. Jh.) stand hier wahrscheinlich eine kleine Burg mit mehreren unterirdischen Fluchtgängen (Reste davon sieht man noch im Keller). 1644 wurde die Herrschaft Hall an den Grafen Trautmannsdorff verpfändet, der hier ein standesgemäßes Renaissanceschloss erbauen ließ.
