A Veszprémi Érseki Könyvtár 65 000 kötetes állománya magába foglalja a Püspöki Könyvtár, a Káptalani Könyvtár és a Papnevelő Intézet Könyvtára együttesen kezelt anyagát. 

A Püspöki Könyvtár alapítása Padányi Biró Márton püspök (1745–1762) nevéhez fűződik, aki az egyházmegyét még Sümegről irányította. Művelt egyéniségként elhatározta, hogy sümegi palotájában könyvtárat hoz létre, bécsi megbízottja Tessedik István segítségével. A rövid idő alatt összeállt 607 kötetes gyűjteményt 1751-ben már leltározták. Ezek mindegyikében kézzel írva szerepel a posszesszori (birtokos) bejegyzés: Padányi Biró Márton veszprémi püspök könyveiből, 1751. A könyveket ekkor a püspöki rezidencia házi kápolna melletti helyiségben helyezték el.

Utóda Koller Ignác (1762–1773) már Veszprémben építtetett palotát, amelynek északi emeleti szárnyán, a kápolna mellett könyvtárszobát is létesített. Az itt elhelyezett gyűjtemény ekkor már 1671 kötetet tartalmazott. A művészi bútordarabokkal ölelt szobában ezek ma is megtekinthetők.

Az évek során a könyvtár állománya folyamatosan gyarapodott. Hornig Károly püspök (1888–1917) különösen nagy gondot fordított a könyvtár fejlesztésére. A könyvtárral kapcsolatos összes munkát maga végezte el. A könyvpiac újdonságairól budapesti és bécsi könyvkereskedője is tájékoztatta. Munkájának eredményeként halála után a könyvtár 17 346 kötetet számolhatott. Ez az a könyvanyag, amely a jelenlegi Érseki (1993 előtt Püspöki) Könyvtár gerincét is képezi.

Rott Nándor (1917–1939) püspök a két világháború között kezdte együttesen kezelni a Biró Márton, Koller Ignác és Hornig Károly által összegyűjtött könyvtárat. A gyűjtemény kezelését Schwartz Róbert szertartóra bízta, akit 1928-ban könyvtárosnak nevezett ki. Munkájának eredményeként valósult meg a szerzői és szakkatalógus.