L'Archivio Biblioteca è nato con l’Accademia stessa: il fondatore, conte Vincenzo Maria Carrati, aveva riservato agli accademici due locali al piano terra del proprio palazzo dell'allora via Cartoleria, dotandoli di strumenti musicali, tra i quali il prezioso organo di Carlo Traeri (1673). Fin dalla fondazione nel 1666 l’istituto bolognese utilizzava una delle sale per tenervi le riunioni, l'altra per custodirvi i documenti.
L'archivio conservava in origine, oltre agli atti ufficiali (verbali, contabilità, carteggi), le produzioni musicali degli Accademici, partiture vocali e strumentali d’uso, sia per l’attività di studio che per le esercitazioni del giovedì.
In seguito alla donazione dell’intero stabile da parte dell’allora proprietario, Gioacchino Barilli (1788-1855) professore di patologia presso l’Università di Bologna, l'Accademia ha potuto via via allargare i propri spazi. Destinate le sale originarie soprattutto alle riunioni ed ai concerti, l'Archivio Biblioteca fu dalla fine dell'800 collocato in ambienti interni del piano terra. Il patrimonio dal 2000 è definitivamente collocato al primo piano di Palazzo Carrati.
Dal Campioniere all'Archivista
La funzione di conservare questo patrimonio veniva assolta anticamente dal Campioniere, ruolo ricoperto nella prima metà del '700, fra gli altri, da Michele Bertalotti (che compilò fra l'altro la Minuta Cronologia, prima storia dell'Accademia) e da Olivo Penna (estensore della più voluminosa Cronologia ossia Historia generale, 1736). All'inizio dell'800 compare la citazione del termine archivista, ruolo ufficioso svolto dal segretario Luigi Masini che iniziò un primo riordino. Con il consolidarsi di una coscienza storica venne introdotto ufficialmente l'ufficio dell'Archivista (Statuti del 1843), il che diede luogo ad una nuova riorganizzazione del materiale. Questa carica fu ricoperta fra gli altri da Filippo Alfonso Fontana (1838-1857), che già aveva iniziato informalmente un secondo riordino (1833). Una importante fase di riorganizzazione ulteriore venne svolta tra il 1858 e il 1859 da Sebastiano Dal Monte, che, pur non ufficialmente archivista, lavorò sotto la supervisione di Gaetano Gaspari, allora bibliotecario al Liceo Musicale ed accademico filarmonico tra i più sensibili ai problemi dell'archivio. Questo lavoro portò al recupero fra l'altro del manoscritto ufficiale dell'esperimento di aggregazione di W. A. Mozart (seconda versione), dato precedentemente per disperso, e conosciuto fino ad allora solo attraverso la copia del Mozarteum di Salisburgo.
Fra i più importanti archivisti dell'Accademia Filarmonica vanno segnalati Enrico Colombani (1891-1905), Alfredo Bonora (1909-1915), Federico Winternitz (1934-1936), Giuseppe Vecchi (1966-2005), che progressivamente provvidero ad un riordino pressoché totale ed introdussero sempre più moderni procedimenti catalografici, dando impulso anche alla ricerca musicologica ed alla storiografia dell'istituzione.
Infine, le moderne esigenze di conservazione e catalogazione hanno portato a distinguere il patrimonio in due grandi sezioni: l'Archivio Storico e la Biblioteca.