La 4 martie 2004, Köhler a demisionat din funcțiile sale, deoarece a fost desemnat candidat la președinție. Köhler a învins-o pe Gesine Schwan în primul tur de scrutin cu 604 voturi la 580. Au fost exprimate 20 de voturi pentru candidați minori, în timp ce un alegător a fost absent din cauza unui atac de cord. Köhler i-a succedat lui Johannes Rau în funcția de președinte la 1 iulie 2004, pentru un mandat de cinci ani. Președinția Germaniei este o funcție în mare parte ceremonială. Cu toate acestea, ea este investită și cu o autoritate morală considerabilă. Din 2004 până la începutul anului 2006, Palatul Charlottenburg a fost sediul președintelui Germaniei. Acest lucru s-a datorat faptului că Schloss Bellevue a fost renovat.
La alegerea sa, Köhler a declarat că "patriotismul și cosmopolitismul nu sunt opuse". Prezentându-și viziunile pentru Germania, Köhler a mai spus că "Germania ar trebui să devină un tărâm al ideilor".
În iulie 2005, a suspendat Bundestagul la cererea cancelarului Gerhard Schröder. Schröder pierduse o moțiune de încredere în Bundestag. Acest lucru a dus la alegeri anticipate pentru Bundestag în septembrie 2005.
În octombrie 2006, acesta a luat o decizie de mare anvergură prin veto-ul unui proiect de lege. Acesta ar fi transferat Administrația germană pentru Siguranță Aeriană Deutsche Flugsicherung în proprietate privată. Bundestag-ul a adoptat această legislație, dar, în calitate de președinte, Köhler a fost autorizat să nu o promulge dacă, în opinia sa, aceasta contravine Constituției. În decembrie 2006, el nu a semnat legea privind informarea consumatorilor, deoarece constituția nu permite guvernului federal să dea instrucțiuni autorităților municipale. Acest lucru poate fi făcut doar de către landurile germane. Au existat doar șase ocazii anterioare în care președintele Germaniei a ales să respingă proiecte de lege. În cele mai multe cazuri a fost vorba de legi mai puțin importante. Vetourile sale au fost primele exemple notabile din istoria recentă a Germaniei.
În discursul său de Crăciun din 2007 adresat națiunii, Köhler a îndemnat guvernul să avanseze mai rapid cu reformele. El a criticat, de asemenea, introducerea salariului minim în sectorul poștal, afirmând că "un salariu minim care nu poate fi plătit de angajatori competitivi distruge locuri de muncă".
La 22 mai 2008, Köhler a declarat că dorește să candideze pentru un al doilea mandat de președinte. La 23 mai 2009, a fost reales de către Adunarea Federală și a depus jurământul pentru un al doilea mandat la 1 iulie 2009.
În noiembrie 2009, Köhler a refuzat să promulge legea "Zugangserschwerungsgesetz" (Legea privind împiedicarea accesului) fără informații suplimentare. Legea, care vizează să îngreuneze accesul la site-urile de pe World Wide Web cu pornografie infantilă, este considerată de mulți experți juridici ca fiind neconstituțională.
Demisie
La 31 mai 2010, Köhler și-a anunțat demisia din funcția de președinte al Germaniei. Acest lucru a avut loc după ce politicienii germani au criticat comentariile făcute de Köhler în legătură cu desfășurările militare în străinătate:
El a fost criticat pentru declarația sa conform căreia misiunile militare ale Germaniei în străinătate au servit și la asigurarea comerțului. Ulterior, acesta a declarat că observațiile sale se refereau la pirateria din largul coastelor Somaliei. Köhler a declarat că nu au existat acuzații întemeiate privind faptul că, în interviu, și-a depășit rolul oficial prin favorizarea unei poziții neconstituționale. După ce nu a primit niciun sprijin în această dispută, Köhler a demisionat la 31 mai 2010. El a făcut o declarație în care a spus: "Îmi declar demisia din funcția de președinte, cu efect imediat". Demisia a fost considerată o "surpriză". În zilele următoare a fost criticat pentru că nu a fost capabil să facă față criticilor, fiind el însuși un critic riguros. Actul său fără precedent de demisie imediată a fost considerat, de asemenea, ca arătând o lipsă de respect pentru funcția sa.
Conform Constituției germane, atribuțiile funcției vacante au fost exercitate de actualul președinte al Bundesratului, Jens Böhrnsen, până la alegerea lui Christian Wulff în funcția de președinte, la 30 iunie 2010.