Henry Kolowrat wurde in der tschechoslowakischen Hauptstadt Prag als Sohn des Politikers und Diplomaten Jindřich Kolowrat-Krakowský (1897–1996) geboren. Seine Mutter Sofja Nikolajewna Trubezkaja (1900–1938) war in erster Ehe mit seinem Onkel Sascha Kolowrat-Krakowsky verheiratet. Nach dem Februarumsturz von 1948 ging Jindřich Kolowrat-Krakowský senior mit seiner Familie ins Exil in die Vereinigten Staaten. Jindřich Kolowrat-Krakowský junior nahm dort den Vornamen Henry an und besuchte bis 1950 die Hotchkiss School und später die Princeton University. 1954 schloss Kolowrat sein Studium in Princeton ab. Zwei Jahre später erhielt er die US-amerikanische Staatsangehörigkeit. Es folgte ein Militärdienst bei der United States Air Force und später ein weiterer Studiengang an der Yale Law School bis 1961. Danach begann er bei Barnes, Dechert, Price, Myers & Rhoads, heute bekannt als Dechert LLP, zu arbeiten. Dort verbrachte er seine gesamte berufliche Laufbahn, wurde 1969 Partner der Firma und ging Ende 1995 in den Ruhestand. Er hatte vier Kinder.