Harnischfeger wurde als Sohn des Gerbers Konstantin Harnischfeger und seiner Frau Christina im hessischen Salmünster geboren. Nach seiner Lehre zum Schlosser wanderte er am 23. März 1872 in die Vereinigten Staaten aus, wo er am 9. April 1872 in Castle Gardens, New Jersey ankam. Nach seiner Ankunft wohnte und arbeitete er zunächst bei seinem Cousin Michael, einem Bäckereibesitzer.

Harnischfeger fand bald eine Stelle im Werk des Nähmaschinenproduzenten Singer, wurde aber noch im gleichen Jahr wegen einer Firmenkrise entlassen. Nachdem er sechs Monate als Bauschlosser in einer anderen örtlichen Firma gearbeitet hatte, zog er nach Providence, Rhode Island, wo er zunächst für die Rhode Island Locomotive Works und später für Brown & Sharpe arbeitete. Während einer weiteren Wirtschaftskrise verlor er seine Arbeit erneut und zog für kurze Zeit nach New York. Als Singer im Jahr 1874 eine neue Fabrik in Elizabeth, New Jersey, eröffnete, kehrte er zu seinem ehemaligen Arbeitgeber zurück und blieb dort bis 1881. Er entwickelte eine Nähmaschine, die die erste automatische Schraubmaschine enthielt und studierte nun zusätzlich Technik.

1881 zog er nach Milwaukee und wurde dort Vorarbeiter bei der White Hill Sewing Machine Company, in der er seinen späteren Geschäftspartner, den Modelltischler Alonzo Pawling, kennenlernte. Am 1. Dezember 1884 gründeten beide die Firma P&H Mining, die heute in Joy Global aufgegangen ist.

Bis 1903 hatte seine Firma 100 Mitarbeiter. Von 1901 bis 1903 arbeiteten auch William S. Harley und Arthur Davidson, die Begründer der Harley Davidson Motor Co. gemeinsam bei der Firma Pawling & Harnischfeger in Milwaukee. 1911 erkrankte Pawling schwer und Harnischfeger erwarb kurze Zeit später dessen Firmenanteile. Nach dem Tod des Partners wurde das Unternehmen in Harnischfeger Corporation umbenannt.

1892 heiratete Harnischfeger Marie Kauwertz, mit der er vier Kinder bekam. In Milwaukee ließ er 1905 durch den Architekten Eugene Liebert ein Haus im Stil der Neorenaissance errichten, das heute denkmalgeschützt ist.

Harnischfeger blieb seiner Heimatstadt Salmünster stets verbunden. 1930 reiste er nach Salmünster und stiftete eine Schule, die heutige Henry-Harnischfeger-Schule. Noch im gleichen Jahr starb er an einem Herzinfarkt und wurde auf dem Forest Home Cemetery in Milwaukee beigesetzt. Zu diesem Zeitpunkt beschäftigte seine Firma 1500 Arbeiter und stellte Kräne, Bagger und Baumaschinen her.