Az épületet a völgy felől támfalakkal megerősített telken Körmendy Imre őrkanonok építtette 1701 és 1725 között. Északi és nyugati homlokzata ma is az eredeti, kora 18. századi állapotát őrzi. 1950–1951-ben ide költözött a Kisszeminárium, 1951 és 1958 között egyetemi kollégium működött benne, majd 1976-tól különböző világi felsőoktatási intézmények kaptak helyet az épületben. A völgy felé eső saroknál előkerültek egy, körülbelül 1500 körül kialakított fülesbástya maradványai is – ez ritka erődítési emlék a várnegyedben.
A ház a veszprémi várnegyed átfogó, 2020 és 2025 között zajló megújulásának egyik kulcshelyszíne. A felújítás idején, 2023-ban a Körmendy Ház adott otthont a Work in Progress / WIP’23 kiállításnak, amely nem egyszerű tárlat volt, hanem maga a megújuló vár bemutatása „munka közben”. A kiállítás ebben az épületben mutatta be a veszprémi várnegyed rekonstrukciójának folyamatait: a műemléki helyreállítást, az ásatásokat, a feltárt leleteket, a restaurátori döntéseket és a fejlesztés dilemmáit. A WIP’23 célja az volt, hogy a látogatók testközelből lássák, hogyan születik újjá tizennyolc műemléki épület, és mi történik a kulisszák mögött – nemcsak vitrinekben, hanem vezetett, úgynevezett „sisakos” vársétákon keresztül is.
A közeljövőben megvalósuló várlift a Gizella Hoteltől szállítja majd a látogatókat a Körmendy Ház kertjébe.