Les origines de la Bibliothèque Mazarine sont liées aux collections personnelles du cardinal Mazarin (1602-1661), successeur de Richelieu et principal ministre de la minorité de Louis XIV entre 1643 à 1661. Ouverte aux savants dès 1643 dans l’hôtel particulier de Mazarin (qui deviendra par la suite le site historique de la Bibliothèque nationale de France), c’est la plus ancienne bibliothèque publique de France.

Un peu plus de 200 œuvres d’art et objets sont conservés à la Bibliothèque Mazarine.

Pour l’essentiel exposés dans ses espaces publics. Quelques éléments faisaient partie du mobilier de la bibliothèque du Collège des Quatre-Nations aux XVIIe et XVIIIe siècles.

La riche collection de manuscrits réunie par Mazarin a été distraite de la succession du cardinal au profit de la Bibliothèque royale en 1668. À l’exception de quelques manuscrits acquis au XVIIIe siècle par les bibliothécaires du Collège des Quatre-Nations, le fonds actuel de manuscrits médiévaux et modernes de la Bibliothèque Mazarine provient essentiellement des prélèvements opérés durant la période révolutionnaire par l’abbé Leblond dans les dépôts littéraires, notamment dans celui de Louis-la-Culture (rue Saint-Antoine), où la plupart des manuscrits issus des établissements religieux parisiens avaient été rassemblés.

La bibliothèque personnelle du cardinal Mazarin, riche de près de 30 000 volumes en 1661, devenue celle du collège des Quatre-Nations, demeura encyclopédique et accessible au public lettré. Organisée autour de grands domaines, comme la théologie, humanités et belles lettres, jurisprudence, philosophie,  sciences et arts,  médecine et histoire naturelle, histoire incluant géographie, antiquités archéologiques, biographies et bibliographie.

La collection d’imprimés comprenait également quelques sections de livres distingués par leur rareté ou leur curiosité, comme la production de l’Imprimerie du Louvre, les livres orientaux ou les hérétiques en toutes langues. Complétée en 1668 à la faveur d’un échange imposé avec la Bibliothèque royale, puis par une politique régulière d’acquisition, elle avoisinait les 60 000 volumes en 1789. Les collections furent plus que doublées par les prélèvements effectués durant la Révolution sur les ensembles documentaires confisqués aux établissements ecclésiastiques (couvents, chapitres, universités et collèges), palais ou hôtels particuliers, principalement à Paris et en Île-de-France, mais également à la suite des campagnes militaires françaises en Allemagne et dans les territoires de la Belgique actuelle. Les volumes furent en partie intégrés au cadre de classement traditionnel, abandonné au milieu du XIXe siècle.