A Ferences Rendházzal szomszédos Tejfalussy Ház nevét építtetőjéről, Tejfalussy (Milchdorfer) György, éneklőkanonokról kapta. Helyén korábban valószínűleg két kora barokk épület állt. Ezek helyére, a kettős várfalra építette 1772-ben Tejfalussy a ma látható emeletes barokk főépületet. A hosszú, keskeny udvar mellett álló földszintes mellékszárny tekinthető az eredeti két kora barokk lakóháznak. Ennek érdekessége, hogy elrendezése által felidézhető a 18. századi palotaépítések előtti vár jellemzői: a keskeny zsákutcák, közök, ún. „térj meg” utcák.
Az épület utcasorba illeszkedik, déli oldalán visszalépő homlokzattal, mely rokon felosztást mutat a közeli Biró-Giczey házzal. A lakóház nyújtott, szabálytalan alaprajzú. Utcai szárnya földszintes, historizáló jellegű. Az erre merőleges, téglalap alaprajzú nyugati szárny háromszintes és barokk stílusjegyeket hordoz magában. Az emeletes barokk főépületben boltozott helyiségek, eredeti képet mutató lépcsőház helyezkedik el. Az épülethez tartozó pince korábban kazamata lehetett.
Az emeleti szinten, az előcsarnokban a kutatások során barokk kori falrétegek kerültek elő. A falakat kidomborodó stukkóelemeket utánzó, lendületesen festett falfestések és timpanonos díszítések borítják. Az oldalfalakon korinthoszi oszlopok láthatók.
Az épületet többször átalakították, majd 1985-ben a veszprémi püspökség múzeuma és fő kiállítóhelye költözött oda. A gyűjtemény több ezer értékes műtárgyával az egyházi kincstárak második leggazdagabbja hazánkban. Itt őrzik többek között az Erzsébet királyné 1867. évi koronázási díszruhájából készült miseruhakészletet, Hornig Károly bíboros Bécsben készült pásztorbotját, és Mindszenty József veszprémi püspök tárgyait.
Az épületben még munkálatok zajlanak, jelenleg nem látogatható.
