Fils De Frédéric Barberousse et de Béatrice De Bourgogne.

Il est voué à l'Église et devient prévôt d'Aix-la-Chapelle. En 1190, il est nommé évêque de Wurzbourg. Après avoir accompagné Henri VI dans son voyage en Italie en 1191, Philippe abandonne la carrière ecclésiastique et, en 1995, retourne en Italie, où il est fait duc de Toscane, avec en dotation les "biens de Mathilde" (c'est-à-dire les territoires ayant autrefois appartenu à Mathilde de Canossa). A la mort de son frère aîné Conrad en 1196, il devient duc de Souabe.

La mort d'Henri VI, qui laisse comme successeur au trône impérial son fils, le très jeune Frédéric (le futur Frédéric II), des désordres importants éclatent entre la famille Hohenstaufen et ceux qui refusent l'idée d'un empereur mineur. Pour défendre les intérêts de son neveu, Philippe accepte la couronne et est élu roi des Romains au mois en 1198, au cours de la diète tenue à Mühlhausen. Il est couronné le 8 septembre 1198, devenant ainsi la nouvelle référence des Gibelins en Italie. Cela déplait au pape Innocent III, qui prend le parti d'Otton IV de Brunswick, second fils du duc de Saxe Henri le Lion. Ce dernier accepte des sacrifices immenses : il renonce à l'intervention impériale dans les élections épiscopales en Germanie, abandonne toute idée de suzeraineté sur la ville de Rome ou de souveraineté sur la Sicile, qui redeviendrait vassale du Saint-Siège, etc. Le pape fait élire Othon roi des Romains à Cologne le 9 juin 1198, avant de le couronner le 12 juillet 1198. Dans le conflit qui s'ensuit, Philippe de Souabe est soutenu par le roi Philippe II de France, tandis que la monarchie anglaise défend Othon, auquel le lient des liens familiaux. Les Welf sont définitivement battus le 27 juillet 1206 lors de la bataille de Wassenberg.