Gura râului Don a fost foarte importantă încă din cele mai vechi timpuri. A fost importantă din motive culturale și comerciale. Colonia grecească Tanais se afla acolo, precum și fortul genovez Tana. Mai târziu, Imperiul Otoman a construit acolo o fortăreață. Această fortăreață a fost numită Azov.
Rostov-pe-Don a fost fondată în 1749. În acel an, a fost construită o vamă pe Don. Mai târziu, a urmat o fortăreață mare. A fost numită după Sfântul Dimitrie din Rostov. Dimitrie de Rostov a fost un episcop din vechiul oraș nordic Rostov cel Mare. Cu timpul, importanța cetății Asov a devenit din ce în ce mai mică. Așezarea de lângă cetate a devenit mai importantă decât cetatea. Era centrul comercial al regiunii. În 1796, această așezare a primit drepturi de oraș și a fost redenumită Rostov-pe-Don.
Râul Don, după care este denumit orașul, este o importantă cale de navigație. Acesta face legătura între sud-vestul Rusiei și regiunile din nord. Rostov pe Don este un port fluvial important atât pentru transportul maritim de persoane, cât și pentru cel industrial. Cu o astfel de locație geografică bună, orașul a crescut rapid. Este cel mai industrializat oraș din Rusia de Sud. Din acest motiv, orașul a cauzat o mare problemă între albii și bolșevici în timpul Războiului Civil. În 1928, guvernul regional a fost mutat din vechea capitală cazacă Novocherkassk la Rostov. Orașul armean Nor Nakhijevan, aflat în apropiere, a devenit parte a orașului.
În anii sovietici, bolșevicii au distrus două dintre principalele repere ale Rostovului - Catedrala Sfântul Alexandru Nevski (1908) și Catedrala Sfântul Gheorghe din Nakhichevan (1783-1807). O mare parte din oraș a fost distrusă de forțele germane care au preluat controlul asupra acestuia de trei ori - în 1918, 1941 și 1942. Astăzi, cea mai notabilă parte a orașului istoric este Catedrala foarte mare a Nașterii Maicii Domnului (1860-87), proiectată de Konstantin Thon.
Orașul a fost, de asemenea, casa celui mai cunoscut ucigaș în serie din Rusia, Andrei Chikatilo, dar acesta nu s-a născut acolo.
Rostov pe Don a înregistrat o creștere economică importantă în ultimii ani. În parte, acest lucru se datorează faptului că economia rusă devine mai puternică. Multe companii noi și-au construit sedii în oraș. Oamenii care locuiesc în oraș câștigă mai mulți bani decât în trecut. Orașul se transformă dintr-un loc aruncat înapoi în timp de prăbușirea comunismului într-un oraș modern, industrial și bogat în tehnologie.