Nach all den Erfolgen stellten sich allerdings auch bald Misserfolge bzw. raue Zeiten ein. In diesem Fall fing es damit an, dass das Atari 2600 Konkurrenz in Form des Mattel Intellivision erhielt. Mattel warb damit, dass die grafischen Möglichkeiten des Intellivision besser seien als die des 2600. Das Atari 2600 konnte sich nur deshalb halten, weil es bereits einen größeren Marktanteil und die größere Vielfalt an Spieletiteln hatte.

Doch die Konkurrenz war nur der Auftakt. Die ersten richtigen Probleme fingen in den frühen 80er Jahren an. Aufgrund des heftigen Wettbewerbs auf dem Spielkonsolen- und Heimcomputer-Markt konnte Atari den Erfolg des 2600 nie wiederholen. Dazu kam auch noch, dass Atari 1982 zwei äußerst enttäuschende Spiele veröffentlichte: Pac-Man und E.T.. Beide Spiele verkauften sich nicht, und schon bald musste sich Atari mit Unmengen von unverkauftem Material und rapide fallenden Preisen herumschlagen. Gleichzeitig schlitterte die Firma auch noch in ein Gerichtsverfahren mit Activision, das sich aus missmutigen Ex-Atari-Angestellten zusammensetzte. Durch diesen Prozess wurde das 2600 auch für die Produkte von Third-Party-Entwicklern geöffnet. Das alles führte dazu, dass der Markt sehr schnell übersättigt war und die Preise noch weiter abstürzten.

Und als ob das nicht schon genug war, wurden im Dezember 1982 die leitenden Atari-Angestellten Ray Kassar und Dennis Groth wegen Insiderhandel angezeigt. Die Anklage stellte sich später als falsch heraus, aber der Schaden war bereits angerichtet. Dazu kam noch, dass Larry Emmons, einer der Ingenieure, die das 2600 und die Atari-Heimcomputer entwickelt hatten, sich 1982 zurückzog.

Das Atari 5200, das die Nachfolge des 2600 antreten sollte und auf dem Atari-800-Computer basierte, aber zu den Spielecartridges des 800 inkompatibel war, verkaufte sich bei weiten nicht so gut, wie es die Firma erwartete hatte.