După ce a absolvit liceul în 1944, Davis s-a mutat la New York pentru a studia la Juilliard School of Music.
Când a ajuns la New York, și-a petrecut cea mai mare parte a timpului încercând să intre în contact cu Charlie Parker, chiar dacă unii oameni îi spuseseră că nu ar trebui să o facă. Când l-a găsit pe Parker, Davis s-a implicat în jam sessions care aveau loc în fiecare seară în două dintre cluburile de noapte din Harlem, Minton's Playhouse și Monroe's. La aceste sesiuni au participat și alți muzicieni celebri, precum Thelonious Monk și Kenny Clarke.
Davis a părăsit Juilliard mai devreme, după ce a cerut mai întâi permisiunea tatălui său. Nu i-au plăcut cursurile de la Juilliard, deoarece credea că se concentrau prea mult pe muzica clasică europeană și "albă". De asemenea, a spus că orele de la Juilliard l-au ajutat să înțeleagă teoria muzicii.
A început să cânte la nivel profesionist în mai multe grupuri de jazz, cântând în mai multe cluburi de pe strada 52 cu Coleman Hawkins și Eddie "Lockjaw" Davis. În 1945, a intrat pentru prima dată într-un studio de înregistrări, ca membru al grupului lui Herbie Fields. În 1946 a realizat prima sa înregistrare în calitate de lider de trupă, cu un grup numit "Miles Davis Sextet plus Earl Coleman și Ann Hathaway". Nu a făcut multe înregistrări ca lider de trupă în această perioadă.
În jurul anului 1945, Dizzy Gillespie a încetat să mai lucreze cu Parker, iar Parker l-a angajat pe Davis ca înlocuitor al lui Gillespie în cvintetul său. Din grup mai făceau parte Max Roach la tobe, Al Haig (înlocuit mai târziu de Sir Charles Thompson și Duke Jordan) la pian și Curley Russell (înlocuit mai târziu de Tommy Potter și Leonard Gaskin) ca basist.
Cu cvintetul lui Parker, Davis a înregistrat de mai multe ori. A avut un solo pe piesa emblematică a lui Parker, "Now's the Time". Acest solo a dus la începutul unui stil de jazz numit "cool jazz". De asemenea, grupul a făcut turnee în Statele Unite. În timpul unui turneu în Los Angeles, Parker a suferit o cădere nervoasă și a fost internat la spitalul de boli mintale Camarillo State Mental Hospital timp de câteva luni. Davis s-a trezit blocat în L.A. A stat cu și a cântat muzică cu muzicianul de jazz Charles Mingus. Mai târziu, a obținut o slujbă cu Billy Eckstine într-un turneu în California care l-a adus înapoi la New York. În 1948, Parker s-a întors din Los Angeles, iar Davis s-a alăturat din nou grupului său.
Muzicienii din grupul lui Parker nu se înțelegeau prea bine. Comportamentul lui Parker era imprevizibil din cauza dependenței sale de droguri. Davis și Roach nu au fost de acord ca Parker să-l angajeze pe Duke Jordan ca pianist și l-ar fi preferat pe Bud Powell). În decembrie 1948, Davis a părăsit grupul după o ceartă cu Parker la Royal Roost. A început să lucreze mai mult independent cu diferite grupuri din New York.