Op 39-jarige leeftijd werd Joe Clark in 1979 de jongste premier van Canada. Een fiscaal conservatief, Joe Clark, en de zijne minderheidsregering werden verslagen na slechts negen maanden aan de macht te zijn geweest in een motie van wantrouwen tegen een begroting van belastingverhogingen en programmaverlagingen.
Na het verliezen van de verkiezingen van 1980 bleef Joe Clark aan als leider van de oppositie. Toen Brian Mulroney in 1983 de leider van de Progressive Conservative Party of Canada overnam en vervolgens Prime Minister in 1984, Joe Clark bleef als een effectieve minister van Externe Betrekkingen en minister van Constitutionele Zaken. Joe Clark verliet de politiek in 1993 om te werken als internationaal bedrijfsadviseur, maar keerde van 1998 tot 2003 terug als leider van de Progressive Conservative Party.
Joe Clark begon zijn politieke carrière als directeur van de organisatie van de Progressive Conservative Party van Alberta van 1966 tot 1967. Hij was speciale assistent van een conservatief parlementslid Davie Fulton in 1967. Hij was Executive Assistant van een conservatief parlementslid Robert Stanfield van 1967 tot 1970.
Joe Clark werd voor het eerst gekozen in het Lagerhuis in 1972. Hij werd in 1976 verkozen tot leider van de Progressive Conservative Party of Canada en was tot 1979 leider van de oppositie. Joe Clark werd beëdigd als premier van Canada na de algemene verkiezingen van 1979.
De conservatieve regering werd in 1980 verslagen. Joe Clark was van 1890 tot 1983 opnieuw leider van de oppositie. Joe Clark riep een leiderschapsconventie van de Progressive Conservative Party op en verloor in 1983 het partijleiderschap aan Brian Mulroney.
In de regering van Mulroney was Joe Clark van 1984 tot 1991 minister van Buitenlandse Zaken. Hij was voorzitter van de Privy Council en minister verantwoordelijk voor constitutionele zaken van 1991 tot 1993. Joe Clark deed niet mee aan de algemene verkiezingen van 1993.
Joe Clark keerde in 1998 terug als leider van de Progressive Conservative Party of Canada. Hij werd herkozen in het Lagerhuis in 2000. In 2002 zei Joe Clark dat hij de Progressive Conservative Party zo ver mogelijk had gedragen. Joe Clarks ontslag als leider van de Progressive Conservative Party was effectief tijdens de leiderschapsconventie in mei 2003.