De Olympische Spelen van 1976 werden ontsierd door boycots en beschuldigingen van drugs. Vóór de Olympische Spelen toerde het rugbyteam van Nieuw-Zeeland door Zuid-Afrika (nog steeds vastgelopen in apartheid) en speelde tegen hen. Hierdoor bedreigde een groot deel van de rest van Afrika het IOC om Nieuw-Zeeland te verbieden van de Olympische Spelen, anders zouden ze de Spelen boycotten. Omdat het IOC geen controle had over het spelen van rugby, probeerde het IOC de Afrikanen ervan te overtuigen de Olympische Spelen niet als vergelding te gebruiken. Uiteindelijk boycotten 26 Afrikaanse landen de Spelen. Taiwan werd ook uitgesloten van de Spelen toen Canada ze niet zou erkennen als de Republiek China.
De beschuldigingen van drugs waren wijdverbreid tijdens deze Olympische Spelen. Hoewel de meeste beschuldigingen niet waren bewezen, werden veel atleten, vooral de Oost-Duitse zwemsters, beschuldigd van het gebruik van anabole steroïden. Toen Shirley Babashoff (Verenigde Staten) haar rivalen beschuldigde van het gebruik van anabole steroïden vanwege hun grote spieren en diepe stemmen, antwoordde een functionaris van het Oost-Duitse team: "Ze kwamen om te zwemmen, niet om zingen."
De Spelen waren ook een financiële ramp voor Quebec. Sinds Quebec bouwde en bouwde en bouwde voor de Spelen, gaven ze het enorme bedrag van $ 2 miljard uit, waardoor ze tientallen jaren schulden hadden. Positiever was dat deze Olympische Spelen de opkomst zagen van de Roemeense turnster Nadia Comaneci die drie gouden medailles won. Ongeveer 6.000 atleten namen deel uit 88 landen.