Si Mérimée éprouve une véritable tendresse pour Eugénie, il montre davantage de réserve face à l'Empereur. Il l'a écrit maintes fois à ses amis : "je suis trop bien avec elle pour être bien avec lui". Cependant, il apprécie peu à peu certaines qualités de Napoléon III : "il a un talent singulier pour gagner la confiance et mettre les gens à leur aise... Il est extrêmement poli et bienveillant mais réservé. Il sait faire parler." Selon Prévost-Paradol, peu soucieux de sympathie à l'égard de l'Empereur, "c'est un parfait gentleman" et pour Mérimée ce point est d'importance.
Tous les deux ont une passion en commun : Jules César. Mérimée travaille sur ce sujet depuis 1838. Son projet d'études d'histoire romaine est pensé sous la forme d'une trilogie : l'Essai sur la guerre sociale parait en mai 1841, puis la Conjuration de Catilina, en mars 1844, la pièce maîtresse devant être une vie de César.
Mais Napoléon III, depuis qu'il a fait faire une carte des Gaules, s'intéresse vivement à César.
En 1855, Mérimée, en colère, écrit à Mme de Boigne : "Monsieur de Lamartine chasse sur mes terres. Il écrit une vie de César bien entendu sans avoir lu autre chose que la biographie universelle... Cela me vexe et me dégoûte de finir mon histoire. Ne pourrait-on pas prendre un brevet d'invention pour les héros comme pour les machines à vapeur ?" Six ans plus tard, il rédige pour Napoléon III des notes sur la religion des Romains, sur la division du temps, sur les trirèmes : a-t-il fait le deuil du livre qu'il souhaitait écrire ?
Il s'efface, accepte le rôle de conseiller. "Si Sa Majesté veut voir la fin de l'ouvrage qu'Elle a entrepris, je crois qu'Elle ferait bien d'en charger quelque pauvre rat d'érudition, comme votre serviteur, plus accoutumé qu'Elle à fouiller dans les bouquins." Une certaine complicité même unit les deux hommes qui vont ensemble visiter les fouilles d'Alise-Saint-Reine en juin 1861 à la suite des controverses sur le site d'Alésia.
Le livre sort le 10 mars 1865 ; en quelques heures les 140 000 exemplaires sont enlevés. "Il me semble qu'il y a de très belles pages... dit Mérimée, des recherches profondes, des observations très fines."