Il apparaît que Napoléon était loin parfois d'être galant et respectueux de la gente féminine et l'on rapporte qu'aux Tuileries, lors des soirées, il se permettait d'être particulièrement mufle vis-à-vis des dames de la cour impériale:
Cette robe est sale; vous n'en changez donc jamais ?
Quelle déception ! Dire que l'on m'avait assuré que vous étiez jolie !
Aucune de ces dames offensées n'osa répliquer au maître des lieux, jusqu'au jour où il rencontra la duchesse de Fleury. Anne-Françoise-Aimée de Franquetot de Coigny, Duchesse de Fleury puis Comtesse de Montrond était brillante, caustique et sans préjugés. Elle était connue pour être aussi assez critique avec la nouvelle société impériale et, pour le plaisir d’un bon mot, rien ni personne ne semble pouvoir l’arrêter. Napoléon va vite l'apprendre à ses dépens.
Un soir, l'Empereur lui posa la question suivante:
Madame, aimez-vous toujours autant les hommes ?
Elle rétorqua vertement:
Oui, Sire, surtout quand ils sont polis.
Service, volée, jeu, set et match!