Yamagata s-a născut la 14 iunie 1838 în Hagi. Hagi a fost capitala domeniului feudal Chōshū (actuala prefectură Yamaguchi). A fost educat de tatăl său. Yamagata a studiat literatura clasică japoneză și chineză. A învățat artele marțiale Jujutsu. Yamagata a învățat, de asemenea, utilizarea militară a suliței și cum să facă garduri.
A mers la Shokasonjuku, o școală privată condusă de Yoshida Shōin. Acolo, a ajutat la răsturnarea shogunatului Tokugawa în 1868. A fost comandant în Kiheitai. Aceasta a fost o organizație semi-militară creată după linii semi-ocidentale de către domeniul Chōshū. A fost ofițer de stat major în Războiul Boshin (1867-1868).
După ce Tokugawa a fost răsturnat, Yamagata și Saigō Tsugumichi au călătorit în străinătate în 1869. Au fost trimiși să cerceteze sistemele militare ale țărilor occidentale. Yamagata a fost impresionat de armata prusacă. După un an, Yamagata s-a întors și i-a raportat direct împăratului Meiji la Tokyo. A fost numit "viceministru adjunct al afacerilor militare". A folosit teoriile militare ale lui Carl von Clausewitz și jocurile de război prusiene pentru a schimba armata japoneză. A devenit ministru de război în 1873. A modernizat Armata Imperială Japoneză și a făcut-o asemănătoare cu armata prusacă. A început recrutarea militară în 1873.