Hervé Villechaize nait le à Paris. Il arrête de grandir très tôt et son père chirurgien, essaye en vain de lui trouver un remède. Hervé a trois frères : Philippe, Patrick et Jean-Paul. Hervé Villechaize est également l'oncle de Thomas Villechaize (journaliste sportif et présentateur de télévision).
Son nanisme ne fut pas son seul handicap puisqu'il avait des poumons atrophiés.
Hervé étudia aux Beaux-Arts à Paris et fit une exposition de ses propres peintures, laquelle reçut un très bon accueil.
À l'âge de 21 ans, il quitte la France pour les États-Unis où il continue à peindre et à pratiquer la photographie. Il commence aussi à participer à quelques films et reçoit vite plusieurs offres, tant pour le théâtre que pour le cinéma. Son premier grand succès est L'Homme au pistolet d'or, neuviève film de la saga James Bond en 1974, dans lequel il joue le rôle de Tric-Trac, sbire du personnage de Scaramanga joué par Christopher Lee tandis que le rôle de 007 est incarné par Roger Moore. Il joue ensuite dans la série télévisée L'Île fantastique dans laquelle il endosse à partir de 1978 le rôle de Tattoo, le fidèle serviteur de Monsieur Roarke joué par Ricardo Montalbán. Il a joué dans 131 épisodes sur les 155 que compte la série. Cette série lui a valu un immense succès. Hervé devint alors riche et principalement connu grâce à son charmant mais énigmatique sourire.
En 1982, il apparait dans un épisode de la série L'Homme qui tombe à pic, joue le rôle du roi Fausto de la sixième dimension dans Forbidden Zone (film) de Richard Elfman et fait une apparition dans le film Y a-t-il enfin un pilote dans l'avion ?
En 1983, il se heurte aux producteurs de la série L'Île fantastique après avoir exigé de gagner autant que l'acteur principal Ricardo Montalbán. En lieu et place d'une augmentation, il est tout simplement renvoyé. La série continuera sans lui mais s'arrêtera au bout d'un an, le public n'étant plus au rendez-vous en l'absence du personnage phare de Tattoo.
Après son éviction de la série L'Ile Fantastique Hervé Villechaize tombe alors dans la mélancolie et rate plusieurs rôles qui lui sont proposés. Dès lors, il tournera peu. En 1984, il apparait dans l'épisode 8 de la saison 7 d'Arnold et Willy dans son propre rôle. Ses problèmes de santé se multiplient aussi (principalement des ulcères). Il faillit mourir d'une pneumonie en 1992. Il fait sa dernière apparition à la télévision dans The Ben Stiller Show à l'automne 1992.
Dans l'après-midi du , après avoir regardé à la télévision Le Magicien d'Oz, il écrit un mot et enregistre une cassette avant de se suicider par balle dans son salon. Sa compagne Kathy Self l'ayant découvert ainsi appellera l'ambulance, mais Hervé ne pourra être sauvé et s'éteint au centre médical de North Hollywood. Ses cendres ont été dispersées à Point Fermin, à Los Angeles.