Fiatalon Miskolcon kezdett el sportolni ökölvívóként és kézilabdázóként. 1940-ben[2] a középiskolai pólóbajnokságban az Óbudai Árpád Gimnázium játékosa. Vízilabdázóként majd a Gamma játékosa lett 1941-ben. Az első osztályban 1944-ben jutott játéklehetőséghez, kezdetben kapusként. 1945-től a Csepeli MTK, 1947-től az Újpest, 1960-tól 1966-ig a Ferencvárosi TC pólósa. 1947-ben a párizsi főiskolai világbajnokságon győztes, ahol a 36 magyar gólból 28-at ő szerzett;[3]1948-ban a londoni olimpián pedig ezüstérmes.
1951-ben, Berlinben a főiskolai világbajnokságot nyert csapat tagja. 1952-ben Helsinkiben az olimpiai bajnok csapat tagja volt. 1954-ben a torinói Európa-bajnokságon az első helyezett csapat tagja. 1956-ban Melbourne-ben az olimpiai bajnokságot nyert csapat tagja volt. 1956-ban Melbourne-ben a magyar küldöttség Forradalmi Bizottságának elnöke volt. A forradalom után az Amerikai Egyesült Államokban élt, majd Európában trénerkedett. 1958-ban hazatért, de az amnesztia ellenére két év eltiltást kapott. Ebben az időszakban segédmunkásként dolgozott. Ezután a Ferencvárosi Torna Club játékosaként 1960-ban a római olimpián bronzérmes, 1962-ben a lipcsei Európa-bajnokságon a győztes csapat tagja. 1964-ben Tokióban az olimpiai bajnok csapat tagja volt. 1964-ig 108-szoros válogatott.
1963-tól a Központi Sportiskola (KSI), 1966-tól a Ferencvárosi Torna Club edzője volt. 1966-ban az Eötvös Loránd Tudományegyetem Bölcsészettudományi Karán művészettörténész, a Testnevelési Főiskolán szakedzői diplomát szerzett. 1970-től Kolumbiában szövetségi kapitány. 1971-től a Vasas SC edzője. 1972-től a magyar válogatott másodedzője, 1973-tól 1980-ig szövetségi kapitánya. 1981-től a Budapesti Vasutas SC (BVSC-Zugló), 1985-től 1988-ig ismét a válogatott vezetőedzője volt. 1988 februárjában, a bajnokság közben távozott a BVSC-től és a Vasashoz szerződött, de szeptemberben lemondott az edzői posztról. 1988-ban Németországban, 1989-ben Bolognában egy alacsonyabb osztályú csapatnál volt szaktanácsadó. 1989 júliusában hazatért, és 1990-ig az Orvosegyetem SC (OSC) szaktanácsadója volt.
Irányítása alatt a válogatott 1973-ban világbajnok, 1974-ben Európa-bajnok, 1975-ben világbajnoki második helyezett, 1976-ban olimpiai bajnok, 1977-ben Európa-bajnok, 1978-ban világbajnoki második helyezett, 1980-ban olimpiai harmadik helyezett volt.
1992-től a Magyar Vízilabda-szövetség (MVLSZ) alelnöke, 1996-tól társelnöke volt. 1998-ban lemondott elnökségi tagságáról, majd később újra betöltötte ezt a posztot. 1994-től 2005-ig a Minden Idők Legjobb Magyar Sportolói Egyesület (Halhatatlanok Klubja) elnöke volt. 1996-tól a Ferencvárosi TC vízilabda-szakosztályának társelnöke majd 1998-tól szaktanácsadója is lett. 2004-ben a Magyar Vízilabda Szövetség örökös tiszteletbeli elnökének választották, valamint az Újpesti TE vízilabda-szakosztályának szaktanácsadójaként dolgozott. 2005-ben a Nemzet Sportolóinak képviseletében a Magyar Olimpiai Bizottság tagja lett. Ugyanettől az évtől a kecskeméti vízilabdaélet fellendítésében is részt vett.
Emlékét róla elnevezett egészség-megőrzést biztosító kültéri sportolási lehetőségeket biztosító óbudai park,[4] valamint egy hódmezővásárhelyi sportuszoda őrzi.[5]
1990 és 1994 között a Magyar Demokrata Fórum (MDF) listán bejutott országgyűlési képviselője volt. Az országgyűlési választásokon 1994-ben az MDF listáján 39., 1998-ban 20. volt, de nem szerzett mandátumot. 2003-ban a Fidesz kulturális tagozata sportszekciójának elnökévé választották. 1999-ben az 56-os Magyarok Világtanácsának elnökségi tagja lett.
Apai nagyszülei Streisinger Simon (1863–1912)[6] gépész és Klein Hilda.[7] Szülei Gyarmati (Streisinger) Béla (1898 k.–1952)[8] adventista lelkész, lapszerkesztő és Gál (Gaál) Kornélia (1901–1998) iparművész, női szabó, akik 1922 novemberében Miskolcon kötöttek házasságot.[9]
Első felesége Székely Éva olimpiai bajnok (1952, Helsinki) úszónő. Lányuk, Gyarmati Andrea a magyar úszósport egyik meghatározó egyénisége lett. 1964-ben Gyarmati Dezső feleségül vette Bara Margit színésznőt, akitől 4 évvel később lánya született, Terézia Eszter. Unokái Hesz Máté vízilabdázó valamint Szilágyi Liliána és Szilágyi Gerda válogatott úszók.
2013. augusztus 18-án hunyt el Budapesten, daganat következtében.[12] Szeptember 4-én helyezték örök nyugalomra a Farkasréti temetőben. A szertartáson több százan vettek részt, köztük Orbán Viktor miniszterelnök is.[13][14]
Aranykor – A magyar vízilabdázás története (Herodotosz, 2002, ISBN 9630068281)
Csurka Gergely–Gyarmati Dezső: 1956 – ahol mi győztünk. 1956. december 6. Magyarország – Szovjetunió 4:0. A "melbourne-i vérfürdő" igaz története; Aréna 2000, Bp., 2006 ISBN 9799637046932
Jocha Károly: Ötkarikás beszélgetések – Athén előtt (Geo-Sport, 2003, ISBN 9632127684)
Peterdi Pál: Gyarmati sors avagy Egy bal kéz története; 4. bőv. kiad.; Antológia, Lakitelek, 2007
Szilágyi Sándor, Papp Lajos: Elárvult szabadság – A diktatúrát követő két évtized, hatvan magyar kiválóság szemével (Kecskeméti Lapok, 2008, ISBN 9789637813900)
