Thielemans și-a început cariera ca chitarist. În 1949, s-a alăturat unei sesiuni de jam session la Paris cu Sidney Bechet, Charlie Parker, Miles Davis, Max Roach și alții. În 1949 și 1950 a participat la turnee europene cu Benny Goodman. A înregistrat primul său disc la Paris cu colegul de trupă, saxofonistul tenor Zoot Sims. În 1951 a devenit membru al trupei Bobbejaan Schoepen.
S-a mutat în SUA în 1952. A fost membru al formației Charlie Parker's All-Stars și a lucrat cu Miles Davis și Dinah Washington. A cântat și a înregistrat cu Ella Fitzgerald, Jaco Pastorius, Peggy Lee, The George Shearing Quintet, Quincy Jones, Oscar Peterson, Bill Evans, Paul Simon, Billy Joel, The Happenings, Astrud Gilberto, Shirley Horn, Elis Regina și alții.
Un standard de jazz al lui Toots Thielemans este "Bluesette", în care a folosit fluierul și chitara la unison. Înregistrat pentru prima dată de Toots în 1962, cu versuri adăugate de Norman Gimbel, cântecul a devenit un mare succes mondial. Interpretarea sa la muzicuță poate fi auzită și în filme precum Midnight Cowboy, Jean de Florette, Sugarland Express, The Yakuza, Turkish Delight, The Getaway, French Kiss, Dunderklumpen. Muzica sa a fost prezentă și în programe de televiziune, printre care Sesame Street, serialul belgian Witse și serialul olandez Baantjer. A realizat muzica pentru filmul suedez Dunderklumpen! din 1974. De asemenea, a dat voce personajului animat Pellegnillot.
Fluieratul și cântecul său la muzicuță pot fi auzite în reclamele radio și TV Old Spice realizate de-a lungul anilor. În anii 1980, a cântat cu basistul și compozitorul/dirijorul de orchestră Jaco Pastorius. În 1983 a apărut pe albumul lui Billy Joel "An Innocent Man", iar armonica sa caracteristică poate fi auzită pe piesa "Leave a Tender Moment Alone". Un an mai târziu, a apărut pe melodia lui Julian Lennon "Too Late For Goodbyes" de pe albumul Valotte. În 1984, a înregistrat ultimul album al lui Billy Eckstine (I Am A Singer). În 1998 a lansat un album în stil francez intitulat "Chez Toots". Acesta a inclus "Les Moulins De Mon Coeur" (The Mills of my Heart), cu cântărețul invitat Johnny Mathis.
În afară de popularitatea sa ca muzician, era apreciat pentru modestia și comportamentul său amabil. În 2001, Thielemans a fost înnobilat ca baron de către regele Albert al II-lea al Belgiei.
