La Révolution de 1789 a porté atteinte au patrimoine, notamment dans ce qu'il avait de monarchique et de religieux, sans qu'un immédiat souci de relèvement apparaisse sous l'Empire ou la Restauration. Encouragé par la vague romantique, qui redécouvre le Moyen Age, un désir de réhabilitation se fait jour sous la Monarchie de Juillet.
De nombreuses voix s'élèvent contre le vandalisme, comme celles de Victor Hugo ou d'Arcisse de Caumont, fondateur en 1834 de la Société française d'archéologie.
L'inspection générale des Monuments historiques est créée en 1830 par Guizot. Elle est complétée en 1837 par une Commission nationale des monuments historiques. Le premier inspecteur est Ludovic Vitet, un ami de Mérimée, qui démissionne en 1834. Mérimée lui succède avec plaisir. Cette fonction, confie-t-il à son ami Sutton Sharpe, « convient fort à mes goûts, à ma paresse et à mes idées de voyage » (lettre du 12 mai 1834). Il se réjouit de découvrir dans ses profondeurs une France « plus inconnue que la Grèce ou l'Egypte ».
Pour combler ses lacunes en matière d'architecture, il s'entoure de spécialistes (Vitet, Caumont...). Ses recherches l'amènent à constater que les réparations maladroites des monuments sont presque aussi néfastes que les destructions. Il écrit à Thiers, alors ministre de l'Intérieur et des Travaux Publics (6 juillet 1834) : « Le mauvais goût qui a présidé à la plupart des réparations faites depuis deux siècles à nos monuments du moyen âge, a laissé des traces peut-être plus funestes que les dévastations, suites de nos guerres civiles et de la révolution ». Il propose aux ministres compétents de contrôler au plan national les plans de restauration des édifices les plus importants, notamment des cathédrales dont l'entretien est financé par le ministère des cultes. Une telle proposition annonce la naissance des architectes des bâtiments de France.
Deux mois après sa nomination, il entame la première des grandes tournées d'inspection qu'il effectue entre 1834 et 1852. Il en rapporte des rapports méticuleux, décrivant tous les monuments dans le détail. Il a des édifices une approche objective et un peu froide que lui reproche Vitet : « Mérimée admire les beaux monuments mais il n'a jamais senti ses yeux se mouiller à l'aspect de leur ruine ». Cela ne remet pas en cause son investissement personnel. Conscient de l'importance de sa mission, il se démène pour sauver les édifices les plus importants. Pour cela, il organise l'archivage et le classement des données recueillies, établissant des listes de bâtiments à restaurer de façon prioritaire, afin d'éviter la dispersion des fonds qui lui sont alloués. On procède à un classement en trois catégories selon « le mérite sous le rapport de l'art, la situation matérielle, les ressources des localités ». La première catégorie est la plus importante. Elle concerne « des édifices qui sont pour ainsi dire des types et qu'on ne pourrait abandonner à la destruction sans encourir les reproches de la postérité. » Derrière une volonté d'objectivité, percent souvent les goûts personnels. Ces goûts incitent Mérimée à privilégier les édifices romains et médiévaux, notamment religieux.