Van Gelder kwam als linksbuiten uit voor VUC (1925-1941) en debuteerde op zijn achttiende in het Nederlands voetbalelftal waarin hij tussen 1926 en 1935 in totaal vijf wedstrijden speelde waarbij hij eenmaal scoorde. Nadat hij in 1941 gestopt was, maakte Van Gelder zowel in 1942 als 1944 nog een rentree bij VUC. Met VUC won hij de NVB beker in 1927 en werd hij in 1944 kampioen in de Eerste klasse West B. Van Gelder stond bekend om zijn voorzetten en om de inswinger; een hoekschop die in een keer in het doel ging.[2][3]
In 1944 werd hij scheidsrechter en kwam in 1953 op de internationale b-lijst waardoor hij als grensrechter actief was bij internationale wedstrijden. Hij floot in 1954 de interland Luxemburg -België. Van Gelder was tot medio 1957 actief als scheidsrechter.
Hij trad in 1937 in Anna Paulowna in het huwelijk met Mary Kaan.[4]
Nederland
