Există multe legende și mituri despre caii arabi. Una dintre legende spune că profetul Mahomed a ales cele mai bune cinci iepe (cai femele) ale sale, numite Al Khamsa ("cele cinci"), pentru a sta la baza rasei arabe. O altă legendă spune că regina din Saba i-a dăruit o iapă arabă regelui Solomon, iar astfel a început rasa. Încă o altă poveste spune că Allah a creat calul arab din vântul de sud, spunând: "Eu te-am creat, o, arabule... îți dau zborul fără aripi".
Din punct de vedere istoric, arabii sunt una dintre cele mai vechi rase de cai dezvoltate de om din lume. Imagini ale cailor "proto-arabi" care semănau foarte mult cu caii arabi moderni au fost pictate pe roci din Peninsula Arabică încă din anul 2.500 î.Hr. Strămoșii beduinilor au îmblânzit probabil caii la scurt timp după ce au îmblânzit cămila. Un schelet de cal a fost dezgropat în peninsula Sinai, datat la 1700 î.Hr. și este considerat cea mai veche dovadă a existenței calului în Egiptul Antic. Probabil că a fost adus de invadatorii Hyksos. Acest cal avea un cap în formă de pană, ochi mari și bot mic, la fel ca și calul arab de astăzi.
În deșert, oamenii erau singura sursă de hrană și apă pentru calul arab. Acolo unde nu existau pășuni, beduinii își hrăneau caii cu curmale, un fruct al curmalului, și cu lapte de cămilă. Caii arabi trebuiau să trăiască cu foarte puțină hrană și să supraviețuiască într-un climat uscat, foarte cald ziua, dar foarte rece noaptea. Caii slabi nu supraviețuiau, iar caii care supraviețuiau deșertului trebuiau să supraviețuiască și la călăritul pentru război. Prin urmare, calul arab a devenit foarte rezistent și capabil să trăiască într-o lume dură.