Designul jocului, bazat pe Atari 400, a fost conceput pentru ca Atari Inc. să poată fi construit și vândut rapid.
În timp ce era în curs de proiectare, Atari 5200 a fost numit "Atari Video System X - Advanced Video Computer System". Atari a protejat designul cu un nume de cod, "Pam", după numele unei angajate de la Atari. Un zvon spunea că "Pam" sau "PAM" însemna de fapt "Personal Arcade Machine". Acest lucru se datora faptului că majoritatea jocurilor pentru sistem se bazau pe jocurile arcade existente. Mașini Atari Video System X funcționale reale, al căror hardware este 100% identic cu Atari 5200, există, dar sunt extrem de rare.
Prima versiune din 1982 a avut patru porturi pentru controler, în timp ce aproape toate celelalte sisteme din acea vreme aveau doar două. De asemenea, 5200 avea un nou controler foarte special, cu un joystick analogic, tastatură numerică, două butoane de foc pe ambele părți ale controlerului și taste de funcție de joc pentru Start, Pauză și Reset. Un alt lucru special a fost prima cutie de comutare automată a televizorului. Sistemele de jocuri mai vechi, care se atașau la cablurile de antenă ale unui televizor, necesitau ca utilizatorul să gliseze manual un comutator pe adaptor. Această cutie RF era, de asemenea, locul în care se conecta sursa de alimentare a jocului într-o configurație unică de semnal de alimentare/televiziune duală, similară cu cea de la RCA Studio II. Un singur cablu care ieșea din 5200 se conecta la cutia de comutare și era folosit atât pentru electricitate, cât și pentru semnalul de televiziune.
Versiunea din 1983 a lui Atari 5200 are două porturi de controler în loc de patru. Atari a revenit la o sursă de alimentare separată mai simplă și la un comutator RF manual. De asemenea, a avut modificări în portul cartușului pentru a permite adaptorul Atari 2600 lansat în acel an. În timp ce adaptorul a fost făcut să funcționeze doar pe versiunea cu două porturi, pot fi făcute modificări la cea cu patru porturi pentru a o face compatibilă. De fapt, spre sfârșitul producției modelului cu patru porturi, a existat un număr limitat de console produse care includeau aceste modificări. Aceste console pot fi identificate printr-un asterisc în numărul de serie.