Edward Kennedy Ellington s-a născut la 29 aprilie 1899. Părinții săi se numeau James Edward Ellington și Daisy Kennedy Ellington. Au locuit cu părinții lui Daisy în Washington
, D.C. James Edward Ellington (J.E.) s-a născut în Lincolnton, Carolina de Nord, la 15 aprilie 1879 și s-a mutat în Washington, D.C. în 1886 împreună cu părinții săi. Daisy Kennedy s-a născut în Washington, D.C., la 4 ianuarie 1879. Tatăl ei fusese un
sclav american. J.E. a lucrat pentru Marina Statelor Unite. De asemenea, a lucrat ca majordom pentru un doctor alb. A lucrat ocazional ca ospătar la
Casa Albă. Daisy și J.E. cântau amândoi la pian.
La vârsta de șapte ani, Ellington a început să învețe să cânte la pian. Daisy și-a ajutat fiul să învețe bunele maniere. Prietenii lui Ellington au observat că se purta ca un gentleman și i-au dat o poreclă, "Duke"." La început, Ellington era mai interesat de baseball decât de cântatul la pian. Mai târziu, el și-a amintit că președintele Theodore Roosevelt l-a urmărit jucând baseball. Ellington a urmat cursurile Liceului Tehnic Armstrong din Washington, D.C. Primul său loc de muncă a fost acela de a vinde alune la meciurile de baseball ale echipei Washington Senators. Acest loc de muncă l-a ajutat să devină mai încrezător.
În 1914, Ellington a scris primul său cântec. Avea un loc de muncă într-o cafenea, unde servea sifon, folosind o fântână de sifon. Cântecul său s-a numit "Soda Fountain Rag". El nu știa încă să citească sau să scrie muzică. Ellington a lipsit mult de la lecțiile de pian și nu credea că se pricepe prea bine la acest instrument. Când avea 14 ani, a auzit pianiști cântând într-o sală de biliard. A fost inspirat să se străduiască mai mult la pian.
A auzit pianul cântat în Washington, D.C., Philadelphia și Atlantic City. A încercat să copieze stilurile pe care le-a auzit. A început să învețe despre armonie și a învățat să citească și să scrie muzică. A început să cânte în cafenele și cluburi din Washington, D.C. În 1916 a primit o bursă pentru a studia arta la Institutul Pratt din Brooklyn, dar a decis să se concentreze pe muzică.
Între 1917 și 1919, Ellington și-a început cariera muzicală profesionistă. În timpul zilei, el se ocupa cu vopsirea panourilor. Noaptea, cânta la pian. Uneori, primea de lucru la pian de la persoane pe care le cunoștea la cealaltă slujbă. Și-a înființat prima formație, "The Duke's Serenaders". Aceștia au cântat în Washington, D.C. și Virginia, la dansuri și petreceri. Ceilalți muzicieni din trupa sa erau Otto Hardwick, la bas și apoi la saxofon; Arthur Whetsol la trompetă; Elmer Snowden la banjo; și Sonny Greer la tobe. Au cântat atât pentru albi, cât și pentru negri, ceea ce era neobișnuit pe atunci.
