Japonia a fost prima țară care a construit linii de cale ferată pentru călătorii de mare viteză. Deoarece Japonia are mulți munți, rețeaua care exista deja era formată din linii cu ecartament îngust de 3'6" (1067 mm), care tindeau să urmeze rute non-directe și nu puteau fi adaptate la viteze mai mari. Din acest motiv, Japonia avea o nevoie mai mare de noi linii de mare viteză decât țările în care sistemul feroviar existent cu ecartament standard sau cu ecartament larg putea fi modernizat cu ușurință. Spre deosebire de liniile mai vechi, liniile Shinkansen au ecartament standard și folosesc tuneluri și viaducte pentru a trece prin și peste obstacole, mai degrabă decât pentru a le ocoli.
Construcția primei secțiuni a trenului Tokaido Shinkansen între Tokyo și Osaka a început în 1959. Linia a fost inaugurată la 1 octombrie 1964, chiar la timp pentru Jocurile Olimpice de la Tokyo. Linia a fost un succes imediat, atingând pragul de 100 de milioane de pasageri în mai puțin de trei ani, la 13 iulie 1967, și un miliard de pasageri în 1976.
Primele trenuri Shinkansen au circulat cu viteze de până la 200 km/h (120 mph), care ulterior au fost mărite la 220 km/h (140 mph). Unele dintre aceste trenuri, cu aspectul lor clasic cu nas de glonț, sunt încă în uz pentru servicii de oprire între Hakata și Osaka. O mașină de conducere a unuia dintre trenurile originale se află în prezent la British National Railway Museum din York.
Multe modele mai avansate de trenuri au urmat primul tip, în general fiecare cu propriul său aspect distinctiv. În prezent, trenurile Shinkansen circulă în mod regulat cu viteze de până la 300 km/h, ceea ce le plasează printre cele mai rapide trenuri care circulă în lume, alături de trenurile TGV franceze și ICE germane.
Inițial destinate să transporte pasageri și trenuri de marfă pe timp de zi și de noapte, liniile Shinkansen transportă doar trenuri de pasageri. Sistemul se oprește zilnic între miezul nopții și ora 6:00 dimineața pentru a permite efectuarea lucrărilor de întreținere, inclusiv circulația trenurilor de testare Doctor Yellow. Puținele trenuri de noapte care mai circulă în Japonia circulă pe vechea rețea cu ecartament îngust la care Shinkansen este paralelă.
În 2003, JR Tokai a raportat că timpul mediu de sosire al Shinkansen-ului a fost de 6 secunde față de ora programată. Această cifră include toate accidentele și erorile naturale și umane și este calculată pe baza a aproximativ 160.000 de călătorii efectuate de Shinkansen. Recordul anterior datează din 1997 și a fost de 18 secunde.
Prima deraiere (accident de tren) a unui tren Shinkansen în serviciul de pasageri a avut loc în timpul cutremurului Chuetsu din 23 octombrie 2004. 6 din totalul de 8 vagoane ale trenului de pe Joetsu Shinkansen au deraiat în apropierea stației Nagaoka din Nagaoka, Niigata.
În 1965, în trenurile Shinkansen au fost puse la dispoziție telefoane cu plată. Acest serviciu s-a încheiat la 29 iunie 2021, din cauza faptului că pasagerii dețin pe scară largă telefoane mobile.
