Thant a început să exercite funcția de secretar general interimar la 3 noiembrie 1961, când a fost numit în unanimitate de Adunarea Generală, la recomandarea Consiliului de Securitate, pentru a prelua mandatul rămas neexpirat al lui Dag Hammarskjöld. Apoi a fost numit în unanimitate Secretar General de către Adunarea Generală la 30 noiembrie 1962 pentru un mandat care s-a încheiat la 3 noiembrie 1966. În timpul acestui prim mandat, a fost apreciat pentru rolul său în dezamorsarea crizei rachetelor cubaneze și pentru încheierea războiului civil din Congo.
U Thant a fost numit pentru un al doilea mandat de secretar general al Organizației Națiunilor Unite de către Adunarea Generală la 2 decembrie 1966, la recomandarea unanimă a Consiliului de Securitate. Mandatul său a continuat până la 31 decembrie 1971, când s-a retras. În timpul mandatului său, a supravegheat intrarea în ONU a zeci de noi state asiatice și africane și a fost un adversar ferm al apartheidului din Africa de Sud. De asemenea, a înființat multe dintre agențiile, fondurile și programele de dezvoltare și de mediu ale ONU, inclusiv Programul Națiunilor Unite pentru Dezvoltare (PNUD), Universitatea ONU, UNCTAD, UNITAR și Programul Națiunilor Unite pentru Mediu.
De asemenea, el a condus multe eforturi de pace de succes, deși acum în mare parte uitate, de exemplu în Yemen în 1962 și în Bahrain în 1968. În fiecare caz, războiul ar fi provocat un conflict regional mai amplu, iar medierea discretă a lui Thant a fost cea care a prevenit războiul.
Spre deosebire de cei doi predecesori ai săi, Thant s-a retras după zece ani de relații cu toate marile puteri. În 1961, când a fost numit pentru prima dată, Uniunea Sovietică a încercat să insiste asupra unei formule de troică formată din trei secretari generali, câte unul reprezentând fiecare bloc din Războiul Rece, ceea ce ar fi menținut egalitatea între superputeri în cadrul Națiunilor Unite. În 1966, când Thant a fost numit din nou în funcție, toate marile puteri, printr-un vot unanim al Consiliului de Securitate, au afirmat importanța funcției de secretar general și bunele sale oficii, un tribut clar adus activității lui Thant.
Războiul de șase zile dintre țările arabe și Israel, Primăvara de la Praga și invazia sovietică ulterioară a Cehoslovaciei, precum și războiul indo-pakistanez din 1971, care a dus la nașterea Bangladeshului, toate au avut loc în timpul mandatului său de secretar general.
El a fost criticat pe scară largă în SUA și în Israel pentru că a fost de acord să retragă trupele ONU din Sinai în 1967, ca răspuns la o cerere a președintelui egiptean Nasser. U Thant a încercat să îl convingă pe Nasser să nu intre în război cu Israelul, zburând la Cairo într-un efort de pace de ultim moment.
Relațiile sale, cândva bune cu guvernul american, s-au deteriorat rapid atunci când a criticat public comportamentul american în Războiul din Vietnam. Încercările sale secrete de a purta discuții directe de pace între Washington și Hanoi au fost în cele din urmă respinse de administrația Johnson.
Thant a urmărit cu un oarecare interes rapoartele privind obiectele zburătoare neidentificate; în 1967, a aranjat ca fizicianul atmosferic american Dr. James E. McDonald să vorbească despre OZN-uri în fața Grupului de Afaceri Spațiale al ONU.
La 23 ianuarie 1971, U Thant a anunțat în mod categoric că nu va fi "în niciun caz" disponibil pentru un al treilea mandat de secretar general. Timp de mai multe săptămâni, Consiliul de Securitate al ONU a fost în impas în ceea ce privește căutarea unui succesor, înainte de a se decide în cele din urmă asupra lui Kurt Waldheim pentru a-i succeda lui U Thant în funcția de Secretar General la 21 decembrie 1971 - când Waldheim împlinea 53 de ani - și cu doar zece zile înainte ca cel de-al doilea mandat al lui U Thant să se încheie.
În discursul său de adio adresat Adunării Generale a Organizației Națiunilor Unite, secretarul general U Thant a declarat că a simțit un "mare sentiment de ușurare, la limita eliberării", atunci când a renunțat la "povara funcției". Într-un editorial publicat în jurul datei de 27 decembrie 1971, în care îl lăuda pe U Thant, The New York Times a afirmat că "sfaturile înțelepte ale acestui om dedicat păcii vor fi necesare și după retragerea sa". Editorialul a fost intitulat "Eliberarea lui U Thant".