Il primo rally disputato da Juha fu il Rally 1000 Laghi nel 1979, vicino alla sua città natale, Laukaa. Nel 1984 ottenne un contratto con Toyota, che lo mise al volante della Celica Twin-Cam Turbo con navigatore Fred Gallagher, senza ottenere vittorie. Andò meglio nel 1985, sempre con la Celica e con Gallagher come copilota, quando trionfò al Rally della Costa d'Avorio. Questa vittoria convinse Jean Todt, team manager di Peugeot, il quale gli offrì un contratto per la stagione 1986.
Con navigatore Juha Piironen, ex copilota di Henri Toivonen, Kankkunen ottenne 6 podi e 3 vittorie con la 205 Turbo 16 E2, che gli fecero vincere il suo primo titolo mondiale. La tragedia del connazionale Toivonen al Tour de Corse, che di fatto sancì la fine dell'epoca delle Gruppo B, colpì molto Juha. Nella stagione 1987, con Peugeot in grosse difficoltà nella costruzione di un'auto di Gruppo A, Juha accettò l'offerta di Lancia che stava portando al debutto la Delta HF 4WD. Con la casa torinese il finlandese ottenne 5 podi e 2 vittorie che gli permisero di vincere il secondo mondiale consecutivo, divenendo il primo nella storia a difendere con successo il titolo;[1] lasciò tuttavia il sedile della Delta dopo un solo anno a causa di dissidi interni con il direttore sportivo di Lancia, Cesare Fiorio, reo a suo dire di favorire con giochi di squadra i piloti italiani a discapito degli stranieri.[1]
Nel 1988 tornò quindi in Toyota, con la Celica GT-4 ST165. Durante le prove del Tour de Corse, in un fuori pista distrusse la roulotte di due anziani, sicché si ritirò. L'auto giapponese si presentò alquanto inaffidabile, e Kankkunen si classificò a fine stagione trentasettesimo con solo 6 partenze e 5 ritiri. Andò decisamente meglio la stagione 1989, con 1 vittoria al Rally d'Australia più 2 podi che lo fecero chiudere al terzo posto nel campionato piloti.
Nel 1990 cambiò casa, ritornando alla Lancia nel pieno dei successi della Delta HF Integrale, ottenendo 1 vittoria e 5 podi stagionali. L'anno dopo, sempre con la vettura italiana vinse 5 rally e ottenne 7 podi, che gli fruttarono il terzo mondiale. Nel 1992, pur non riuscendo a difendere il titolo, ottenne 1 vittoria e ben 9 podi. A causa del sopraggiunto ritiro di Lancia dalle competizioni, nel 1993 Juha tornò alla Toyota che nel frattempo aveva ripensato radicalmente la Celica GT-Four, ora più veloce e competitiva. Kankkunen vinse 5 rally e ottenne 7 podi che gli valsero il suo quarto titolo mondiale.
Corse fino al Rally di Argentina con il suo storico navigatore Piironen, prima che questi ebbe un'emorragia cerebrale; passò quindi al copilota gallese Nicky Grist. Nella stagione 1994, in cui ottenne 1 vittoria e 5 podi, al Rally Safari ebbe un serio incidente che gli costo dei punti in testa. Nel 1995 accadde uno scandalo: alla Toyota, colta in flagrante nell'avere modificato illegalmente il turbo, fu impedito di gareggiare per un anno, mentre a Kankkunen, Armin Schwarz, Didier Auriol e Thomas Rådström furono tolti tutti i punti del mondiale. Nel 1996, data la squalifica della casa giapponese, il finlandese gareggiò con un team privato ottenendo solamente 2 podi che lo posero al settimo posto nel mondiale.
A metà del 1997 accettò l'offerta di Ford, prendendo il posto di Schwarz dal rally di Argentina, al volante della Escort WRC, con compagno di squadra Carlos Sainz; con Grist diventato nel frattempo copilota di Colin McRae, Kankkunen cambiò navigatore passando a Juha Repo, già al lavoro con Harri Rovanperä. La Escort, nonostante fosse quasi a fine ciclo, risultò molto veloce seppur non affidabile (ma i guasti attanagliarono soprattutto il compagno Sainz, in lotta per il mondiale), e il finlandese chiuse la stagione con 5 podi. Nel 1998 corse sempre per Ford, ma ormai la Escort era stata superata in potenza dalle rivali, e nonostante 7 podi, per Kankkunen fu impossibile competere concretamente con le prestazionali Subaru Impreza WRC 98 di McRae e Piero Liatti, e soprattutto con la Mitsubishi Lancer Evo IV del campione del mondo Tommi Mäkinen.
Per la stagione 1999 Juha approdò quindi in Subaru, che gli voleva affidare la Impreza 22B Sti WRC. L'auto si dimostrò magistrale, e seppur ormai quarantenne, alla guida di essa Kankkunen vinse 2 rally e ottenne 5 podi; quando gli addetti ai lavori ritenevano che il finlandese era ormai vecchio e senza più la forza di un tempo, queste vittorie fecero ricredere gli scettici sul suo conto. Nel 2000 restò con la casa giapponese. che gli affidò la Impreza P2000 con cui ottenne 3 podi.
Nel 2001 la Subaru lo lasciò. Il finlandese accettò dunque la proposta di Hyundai per gareggiare in un solo rally, quello di Finlandia, con la nuova Accent WRC: si dovette però ritirare per un problema tecnico accusato dall'ancora acerba e inaffidabile vettura. Kankkunen fu molto presente nell'evoluzione tecnica della Accent WRC, e nel 2002 corse una stagione intera con la casa coreana. Nonostante tutti i test e gli aggiornamenti eseguiti, la Hyundai rimase tuttavia fedele alla sua reputazione di auto inaffidabile che costrinse Juha a una stagione nelle retrovie, ottenendo quale miglior risultato il quinto posto in Nuova Zelanda e collezionando diversi ritiri. Alla fine della stagione Kankkunen si ritirò dai rally mondiali.
Dopo il ritiro, Kankkunen andò incontro a una forte depressione che tentò di colmare sia con l'alcool, sia cercando di entrare nella politica europea, senza riscuotere successo; provò inoltre a essere l'azionista di un'azienda di voli, la Flying Finn, che però si rivelò un fiasco. Uscì dalla depressione grazie alla scuola di guida su ghiaccio Juha Kankkunen Driving Academy, nata nel 2004.[2] Partecipò anche al Rally di Finlandia 2010 con una Ford Focus WRC privata del Team Stobart, con copilota Juha Repo: si classificò ottavo assoluto, riuscendo a sopravanzare il campione di Formula 1 Kimi Räikkönen. Questa rimane l'ultima apparizione di Kankkunen nel campionato del mondo rally.[3]