Holiday a declarat că a început să consume droguri dure la începutul anilor 1940. Ea s-a căsătorit cu trombonistul Jimmy Monroe la 25 august 1941. Când era încă căsătorită cu Monroe, a început o relație romantică cu trompetistul Joe Guy, care era și dealerul ei de droguri. A trăit cu el ca soție a acestuia (numită concubinaj) și a divorțat de Monroe în 1947. S-a despărțit și de Guy. După ce a fost arestată și condamnată pentru posesie de droguri în 1947, nu i s-a permis să lucreze în cluburile din New York pentru tot restul vieții. Singura dată când a putut să o facă a fost când a cântat la Ebony Club în 1948, unde a avut permisiunea lui John Levy.
În anii '50, sănătatea lui Holiday a devenit precară, din cauza consumului de alcool, a drogurilor și a relațiilor sale cu bărbați abuzivi. Vocea ei a devenit aspră, dar unii oameni spun că vocea ei a devenit mai emoțională.
La 28 martie 1952, Holiday s-a căsătorit cu Louis McKay, un bărbat care lucra pentru Mafia. McKay, la fel ca majoritatea bărbaților din viața ei, era abuziv, dar a încercat să o facă să renunțe la consumul de droguri. Ulterior, s-au despărțit.
Pe 10 noiembrie 1956, a susținut două concerte în fața unui public numeros la Carnegie Hall.
Holiday a plecat pentru prima dată în turneu în Europa în 1954, alături de Buddy DeFranco și Red Norvo. Când s-a întors în Europa, aproape cinci ani mai târziu, a apărut la televizor pentru emisiunea Chelsea at Nine, difuzată de Granada la Londra. Aceasta a fost una dintre ultimele dăți în care a apărut la televiziune. Ultimele sale înregistrări de studio au fost făcute pentru MGM în 1959, cu Ray Ellis și orchestra sa, care o acompaniase și pe albumul Lady in Satin al companiei Columbia din 1958. Înregistrările MGM au fost lansate după moartea lui Holiday pe un album numit Last Recordings.
Autobiografia lui Holiday, Lady Sings the Blues, a fost publicată în 1956. A fost scrisă de William Dufty, un scriitor și editor al New York Post, căsătorit cu Maely Dufty, o prietenă apropiată a lui Holiday. El a scris cartea rapid, după ce a vorbit cu Holiday în apartamentul său, precum și după ce a folosit intervievatorii anteriori. El a vrut să o lase pe Holiday să-și spună povestea în felul ei.
Holiday nu a avut niciodată copii, dar a avut doi nași: cântăreața Billie Lorraine Feather, fiica lui Leonard Feather, și Bevan Dufty, fiul lui William Dufty.