Počátky knihovny spadají do stejné doby, kdy byl v polovině 11. století přemyslovským knížetem Břetislavem založen samotný rajhradský klášter, neboť podle Řehole sv. Benedikta museli mniši v klášterech mimo jiné také číst a studovat. Od počátku tedy museli mít mniši dostatek knih, který tvořil základ knihovny.

K základním knihám patřila Bible, ale v knihovně bychom nalezli také další knihy, které sloužily liturgickému využití – např. misál, breviář, lekcionář nebo graduál. Mezi rukopisy, které jsou v knihovně dochovány do dnešní doby, nalezneme lekcionář z 11. století či životy egyptských a řeckých otců z první poloviny 12. století či graduál a breviář z 2. poloviny 12. století.

Nejstarším rukopisem knihovny je ovšem Martyrologium Adonis - rukopis, který pochází ze začátku 10. století. Doba vzniku rukopisu dává tušit, že nemohl být napsán v rajhradském klášteře. Kniha byla sepsána ve Francii biskupem Adem a glosy psané cyrilicí, které se v něm nalézají, ukazují na to, že se poměrně záhy ocitl na českém území.

Rajhradská knihovna se v průběhu středověku rozrůstala, do konce 13. století obsahovala všechny důležité – nejen liturgické – rukopisy. Ačkoliv klášter postihly požáry a válečná tažení, dochovalo se do dnešní doby 14 rukopisů, které v klášteře byly již před rokem 1300.

Velké množství rukopisů (cca 30) přibylo do knihovny v době panování císaře Karla IV. a moravských markrabat Jana Jindřicha a Jošta. Mnohé z nich byly napsány buď přímo v Rajhradě, nebo přinejmenším v klášteře na Břevnově. K těmto náleží například bohatě malovaný breviář probošta Vítka.

Doba tzv. husitských válek zanechala v knihovně především protihusitské traktáty, ale také některá z děl Jana Husa, Jakoubka ze Stříbra, Jana z Příbrami nebo Jana Rokycany.

Z husitské doby 15. století vyšel rajhradský klášter nedotčený a klidné pro něj bylo i 16. století. Ovšem roku 1619 byl klášter na krátkou dobu sekularizován, mnohem horší pro něj ale bylo obležení Brna Švédy v době třicetileté války, neboť švédské vojsko tábořilo necelou hodinu od kláštera. Je možné, že v této době knihovna přišla o některé svazky, žádné konkrétní zprávy se nám ovšem nedochovaly.

Nárůst knih v knihovně souvisel s vynálezem a šířením knihtisku, ačkoliv i rukopisné knihy zůstaly v Rajhradě v oblibě. Ve sbírce rukopisů se nalézá také velké množství novověkých rukopisů, tedy těch, které vznikly po vynálezu knihtisku.  

V době po vynálezu knihtisku se rajhradská knihovna začala rychle zvětšovat. První nákupy tištěných knih jsou doloženy již v 15. století, tzv. prvotisků, tedy knih vytištěných před rokem 1500, se v rajhradské knihovně nalézá 163 z původních 253 titulů. Část sbírky prvotisků byla kvůli ekonomickým potížím kláštera na přelomu 19. a 20. století rozprodána.

K největším nákupům docházelo v 18. století, především v době vlády císaře Josefa II., kdy byly rušeny kláštery v Habsburské monarchii. Rajhradský klášter nejen, že zrušení unikl, podařilo se mu dokonce také zařadit se mezi instituce, které měly možnost si ze zrušených klášterních knihoven přednostně vybírat knihy.

Ke konci 19. století se rajhradský klášter dostal do ekonomických problémů a přistoupil k prodeji části knihovního fondu, především prvotisků.

Po roce 1950, kdy byl klášter zrušen, se knihovna dostala zásluhou Vladislava Dokoupila do odborné správy Státní vědecké (dnešní Moravské zemské) knihovny v Brně. V době této správy byly zpracovány katalogy rukopisů, prvotisků a tisků 16. století, tisků brněnských a jazykově českých.

Kvůli přetrvávajícím problémům se statikou musela být knihovna v roce 1973 vystěhována. Roku 1993 byla celá knihovna vrácena Moravskou zemskou knihovnou Benediktinskému řádu.

Knihy se do rajhradského historického sálu a depozitářů vrátily teprve v roce 2004. Na podzim roku 2005 byla knihovna předána do odborné správy Muzea Brněnska, p.o. – Památníku písemnictví na Moravě. Roku 2008 přešla do správy muzea též sbírka rukopisů a prvotisků. Pracovníci muzea nejprve zpřístupnili původní lístkový katalog knihovny formou digitálního lístkového katalogu, následně bylo přistoupeno k elektronickému zpracování knihovního fondu, který je přístupný v on-line katalogu. V rámci projektu budou zpracovány knihy z historického sálu a pro zájemce budou dostupné nejen ve výše zmíněném on-line katalogu Muzea Brněnska, ale i v Souborném katalogu jihomoravských historických sbírek Moravské zemské knihovny.