Fils de Philippe II de Coulanges et de Marie Le Fèvre d'Ormesson. ll grandit chez son grand-père Philippe Ier, dans l’hôtel Coulanges de la place Royale, auprès de sa cousine germaine Marie de Rabutin-Chantal, la future madame de Sévigné, qui a sept ans de plus que lui et qui est orpheline. Le grand-père est le tuteur de Marie.

Après la mort du grand-père en 1636, Philippe II de Coulanges, le père de Philippe-Emmanuel, devient le tuteur de Marie. Les deux enfants ne vont donc pas se quitter. Ils habitent un moment rue Barbette, puis dans l’hôtel de Coulanges de la rue des Francs-Bourgeois, où Marie reste jusqu’à son mariage,