Constantine veut faire carrière dans la chanson. Il fait ses classes à Vienne puis se produit à Paris dans les cabarets à la mode à cette l'époque. De retour au pays, n'ayant pas le succès escompté, il exerce la profession de figurant, puis tient un rôle dans Egypt by three, un film sans grand écho. Dépité de n'avoir pas fait carrière dans son pays natal, il repart pour l'Europe dans les années 1950. Il rencontre Édith Piaf après la mort de Marcel Cerdan, qui le fait engager pour La P'tite Lili, une comédie musicale qu'elle s'apprête à interpréter. Il traduit pour elle, en anglais, des chansons de son répertoire les plus populaires des années 1950 dont, en particulier, La Vie en rose et Hymne à l'amour.

Il devient une vedette en France en interprétant le rôle de l'agent secret Lemmy Caution dans La Môme vert-de-gris (1953), adapté d'une série noire de Peter Cheyney, rôle d'un type suave, séduisant et lisse qu'il reprend dans une série de films : Cet homme est dangereux (1953), Ça va barder (1953), Je suis un sentimental (1955), Lemmy pour les dames (1961) et À toi de faire… mignonne (1963). Il décrit plus tard son personnage de film comme ayant été « James Bond avant James Bond ». Constantine devient une vedette du box-office français et européen des années 1950 et 60 avec sa gouaille et son accent américain qu'il accentue volontairement. Il enregistre également plusieurs chansons de charme à succès et fait paraître sous son nom quelques romans, notamment Votre dévoué Blake (1955), aux Presses de la Cité (collection Un Mystère n^o 226) ; et Le Propriétaire (1975), J.C. Lattès.

Les films d'Eddie Constantine sont généralement des séries B d'action au ton souvent léger et humoristique. Se considérant avant tout comme un chanteur, il ne prend pas sa carrière de comédien au sérieux et, les années passant, s'occupe de plus en plus de son écurie de courses. Au milieu des années 1960, il tente de renouveler son image en jouant dans des films artistiquement plus ambitieux, comme Lucky Jo, de Michel Deville, et surtout Alphaville, une étrange aventure de Lemmy Caution, de Jean-Luc Godard, où il reprend son personnage habituel dans un contexte atypique. Mais son succès commercial décline à cette époque en France. En 1968, il tourne avec Johnny Hallyday dans À tout casser de John Berry.

Marié à une Allemande, il s'installe en Allemagne de l'Ouest, et il continue d'apparaître dans des longs métrages et des productions de la télévision.

Durant la deuxième partie de sa carrière, Eddie Constantine est fréquemment employé par des metteurs en scène européens d'avant-garde, comme William Klein, Rainer Werner Fassbinder ou Mika Kaurismäki. Au début des années 1990, on le voit dans Europa de Lars von Trier, puis dans Allemagne année 90 neuf zéro, un film expérimental de Jean-Luc Godard où il reprend une dernière fois le rôle de Lemmy Caution.

Constantine s'est toujours considéré avant tout comme un chanteur. Il a embrassé la carrière d'acteur pour s'amuser mais aussi par nécessité pécuniaire.

Constantine s'est marié trois fois. Avec sa première épouse, Helene Musil (1942-1976, divorce), il a trois enfants. Son mariage avec Dorothea Gibson n'a duré qu'un an (1977) avant que le couple ne divorce. Il épouse la productrice allemande Maya Faber-Jansen en troisièmes noces. Leur union durera jusqu'à la mort de l'acteur (1979-1993). Ils ont eu un enfant.

Constantine est mort le 25 février 1993 à Wiesbaden (Allemagne) d'un infarctus du myocarde. Il est alors âgé de 75 ans. Il laisse quatre enfants. Sa fille Tanya Constantine, née en 1943, est photographe. Sa fille Barbara Constantine, née en 1955, est écrivain. Son fils Lemmy Constantine, né en 1957, est également chanteur et acteur. Sa fille Mia Constantine, née en 1981, est metteur en scène.