Az épületet a völgy felől támfalakkal megerősített telken Körmendy Imre őrkanonok építtette 1701 és 1725 között. Az északi és nyugati homlokzata az eredeti, kora XVIII. századi állapotában maradt fenn. 1950-51-ben ide költöztették a Kisszemináriumot, majd 1951-1958 között egyetemi kollégium működött benne, 1976-tól pedig különböző világi felsőoktatási intézmények kaptak benne helyet. Érdekesség, hogy a völgy felé eső sarkában egy 1500 körül kialakított fülesbástya maradványai kerültek elő.
Az épületben még munkálatok zajlanak, jelenleg nem látogatható.
