2 июня 1901 г. в присутствии министра путей сообщения состоялась закладка здания музея. Производство работ возложили на архитектора МПС П. С. Купинского
6 декабря 1902 г. состоялось освящение и открытие Музея ведомства путей сообщения имени императора Николая I.
В 1904 г. к зданию музея с южной стороны пристроили двухэтажный павильон. В этот павильон в 1905 г. поместили ботик Петра I, катер Александра II, два знамени расформированного Ладожского батальона ведомства путей сообщения.
К 1909 г. разрабатывается проект пристройки к зданию музея двух боковых корпусов. В 1910 г. северный корпус построили. В этом же году основная часть институтского музея переводится из здания на Московском пр. в этот корпус. В дальнейшем музеи ведомства и института объединили в один музей.
В 1987 г. музей стал Центральным музеем железнодорожного транспорта МПС (ЦМЖТ). В настоящее время в фондах музея более 60 тысяч единиц хранения.