Fils de Philippe II de Coulanges et de Marie Le Fèvre d'Ormesson. ll grandit chez son grand-père Philippe Ier, dans l’hôtel Coulanges de la place Royale, auprès de sa cousine germaine Marie de Rabutin-Chantal, la future madame de Sévigné, qui a sept ans de plus que lui et qui est orpheline. Le grand-père est le tuteur de Marie.
Après la mort du grand-père en 1636, Philippe II de Coulanges, le père de Philippe-Emmanuel, devient le tuteur de Marie. Les deux enfants ne vont donc pas se quitter. Ils habitent un moment rue Barbette, puis dans l’hôtel de Coulanges de la rue des Francs-Bourgeois, où Marie reste jusqu’à son mariage,
Il n’est connu de nos jours que comme cousin et ami de madame de Sévigné, qui parle souvent de lui dans ses lettres.