Cohen și-a început cariera de poet și romancier în anii 1950 și la începutul anilor 1960. Cohen și-a început cariera muzicală abia în 1967, la vârsta de 33 de ani. Primul său album, Songs of Leonard Cohen (1967), a fost urmat de alte trei albume de muzică folk: Songs from a Room (1969), Songs of Love and Hate (1971) și New Skin for the Old Ceremony (1974).
Discul său din 1977, Death of a Ladies' Man, a fost scris și produs de Phil Spector. În 1979, Cohen a revenit cu albumul mai tradițional Recent Songs, care îmbina stilul său acustic cu jazzul și influențele orientale și mediteraneene.
"Hallelujah" a fost lansată pentru prima dată pe albumul de studio al lui Cohen, Various Positions, în 1984. Cohen a scris în jur de 80 de versuri provizorii pentru "Hallelujah", cu o sesiune de scriere la Hotelul Royalton din New York, unde a fost nevoit să stea pe podea în lenjerie intimă, bătându-se cu capul de podea. Aceasta a devenit cea mai cunoscută lucrare a lui Cohen. I'm Your Man din 1988 a marcat cel mai popular album al lui Cohen, cu piesa "Everybody Knows". În 1992, Cohen a lansat continuarea acestuia, "The Future", care avea versuri întunecate și referiri la neliniștea politică și socială.
Cohen a revenit la muzică în 2001, odată cu lansarea albumului Ten New Songs, care a avut un succes major în Canada și Europa. Cel de-al unsprezecelea album al său, Dear Heather, a urmat în 2004. După o serie de turnee de succes între 2008 și 2010, Cohen a lansat trei albume în ultimii patru ani din viața sa: Old Ideas (2012), Popular Problems (2014) și You Want It Darker (2016), ultimul dintre acestea fiind lansat cu trei săptămâni înainte de moartea sa.