Mitropoulos wurde in Athen als Sohn von Yannis und Angelikē Mitropoulos geboren. Sein Vater besaß ein Lederwarengeschäft in der Innenstadt von Athen. Er war musikalisch frühreif und zeigte früh sein Können. Von elf bis vierzehn Jahren,  Jeden Samstagnachmittag veranstaltete und leitete er informelle musikalische Zusammenkünfte in seinem Haus. Seine früheste anerkannte Komposition – eine heute verschollene Sonate für Violine und Klavier – stammt aus dieser Zeit.

Er studierte Musik  bei Ferruccio Busoni und von 1921 bis 1925 assistierte er Erich Kleiber an der Berliner Staatsoper und übernahm danach verschiedene Stationen in Griechenland. Als er 1930 bei einem Konzert mit den Berliner Philharmonikern feststellte, dass sein Solist krank war, spielte er den Solopart von Prokofjews Klavierkonzert Nr. 3 und dirigierte das Orchester als einer der ersten von der Tastatur aus.

Vereinigte Staaten

Mitropoulos gab 1936 sein US-Debüt mit dem Boston Symphony Orchestra, ließ sich später im Land nieder und wurde 1946 Staatsbürger. Von 1937 bis 1949 war er Chefdirigent des Minneapolis Symphony Orchestra 

1949 begann Mitropoulos seine Zusammenarbeit mit den New York Philharmonic. Er war zunächst Co-Dirigent von Leopold Stokowski und wurde 1951 alleiniger Musikdirektor. Mitropoulos nahm ausgiebig mit den Philharmonikern für Columbia Records auf und versuchte, durch Auftritte im Fernsehen und durch die Leitung einer Woche mit Aufführungen im Roxy Theatre, einem beliebten Kino, ein neues Publikum in der Stadt zu erreichen. Mitropoulos erweiterte das Repertoire der Philharmoniker, indem er Werke neuer Komponisten in Auftrag gab und sich für die Symphonien von Gustav Mahler einsetzte. 1958 folgte ihm ein Protegé, Leonard Bernstein, als Dirigent der Philharmoniker nach. Im Januar 1960 dirigierte er als Gast die Philharmoniker bei einer Aufführung von Mahlers Fünfter Symphonie, die aufgenommen wurde.

Arbeit in der Oper

Neben seiner Orchesterkarriere dirigierte Mitropoulos ausgiebig Opern in Italien und war von 1954 bis zu seinem Tod 1960 Chefdirigent der Metropolitan Opera in New York, obwohl die Met bis in die 1970er Jahre nie einen offiziellen „Chefdirigenten“-Titel hatte. Seine musikalisch prägnanten und dramatisch lebendigen Darbietungen von Puccini, Verdi, Richard Strauss und anderen bleiben Vorbilder der Kunst des Operndirigenten. 

Mitropoulos' Aufnahmeserie für Columbia Records mit dem New York Philharmonic umfasste eine seltene vollständige Aufführung von Alban Bergs Wozzeck. Viele davon wurden von Sony Classics auf CD neu aufgelegt, darunter zuletzt seine Stereoaufnahmen von Auszügen aus Prokofjews Romeo und Julia. Während der 78-rpm-Ära nahm er mit dem Minneapolis Symphony für RCA Victor auf. Er war auch auf dem Label Cetra Records vertreten, insbesondere mit einer frühen Aufnahme von Richard Strauss' Elektra.

Mitropoulos hat viele zeitgenössische Werke uraufgeführt. Beispiele hierfür sind die amerikanischen Erstaufführungen von Schostakowitschs Zehnter Symphonie (1954) und dem Ersten Violinkonzert (1956) sowie die Weltpremieren von Barbers Vanessa (1958), Ernst Kreneks Vierter Symphonie (1947) und John J. Beckers Kurzer Symphonie (1950). Einer der größten griechischen Künstler