Prima sarcină a lui Hopetoun a fost să aleagă un prim-ministru pentru a forma un guvern, care urma să înceapă la 1 ianuarie 1901. Primele alegeri urmau să aibă loc abia în luna martie, așa că nu a putut alege liderul celui mai mare partid politic din Camera Reprezentanților. În schimb, l-a rugat pe Sir William Lyne, premierul celui mai mare stat, New South Wales, să fie prim-ministru
Deși aceasta era o alegere rezonabilă, Lyne se opunea federației și era nepopular printre politicienii federaliști de frunte. Alfred Deakin și alți politicieni importanți i-au spus lui Hopetoun că nu vor lucra cu Lyne. Hopetoun l-a întrebat apoi pe Edmund Barton, liderul mișcării federale și omul despre care toată lumea credea că ar trebui să fie prim-ministru. Acest lucru a devenit cunoscut sub numele de "greșeala lui Hopetoun".
Curând au apărut alte probleme. Hopetoun își adusese propriul secretar oficial, căpitanul Edward William Wallington. Australienii nu doreau ca un englez să se ocupe de treburile oficiale. De asemenea, nu le plăcea fastul regal și ceremonialul pe care Hopetoun îl folosea în funcția sa, precum și banii pe care îi costa acest lucru. El se purta ca și cum ar fi condus Australia împreună cu prim-ministrul. Nu era ceea ce își doreau autorii Constituției.
Hopetoun s-a împrietenit cu anarhistul și pionierul sindical din Melbourne, John "Chummy" Fleming. În mai 1901, Fleming a protestat împotriva șomajului din Melbourne, intrând în grabă pe podul Prince's Bridge pentru a opri trăsura guvernatorului general. Hopetoun l-a ascultat pe Fleming vorbind despre problemele șomerilor. Potrivit unor rapoarte, Hopetoun a determinat guvernul să accelereze proiectele de lucru.
În cele din urmă, a existat o problemă cu privire la cât de mult ar trebui să fie plătit guvernatorul general pentru a avea o casă atât în Sydney, cel mai mare oraș, cât și în Melbourne, sediul guvernului australian. Parlamentul Commonwealth-ului și cel victorian nu au vrut să-i plătească mai mulți bani lui Hopetoun. Hopetoun a demisionat în mai 1902. El și familia sa au părăsit Australia (din Brisbane) la 17 iulie 1902. Știa că a eșuat într-un rol istoric. A fost creat Prim marchiz de Linlithgow la 27 octombrie 1902, în timp ce era încă guvernator general. Mandatul său s-a încheiat oficial la 9 ianuarie 1903. A fost numit Secretar pentru Scoția în 1905.
A murit subit la 29 februarie 1908, la Pau, Pyrénées-Atlantiques, Franța.
