伴着解放战争弥漫的硝烟，随着时代列车铿锵的节奏，1949年8月20日，在共和国成立的前夕，太原铁路机械学校的前身--太原铁路管理局职工学校，带着为百废待兴的新中国培养铁路人才的历史使命，在太行大地，黄河之滨诞生了。
初建的职工学校在一无经验、二缺设备的情况下开始工作。师生们一边参加建校劳动，一边开始上课。校址设在并州西路4号。
1951年1月，赵辛培同志成为学校第一位专任校长，兼任党总支书记，学校改名为“太原铁路技工学校”，开始招收部分社会青年，同时开设的“司机养成所”设在海子边。同年9月，铁道部在机构改组中，撤销了太原铁路管理局，学校划归天津铁路管理局领导，并更名为“天津铁路管理局太原铁路中级技术学校”，设有工务、商务、机务、运输等专业。
1953年1月，根据全国统一部署，铁道部将学校调整为经济类专业学校，更名为“太原铁路学校”，归属太原铁路管理局管理，设置了会计、统计、材料技术供应三个专业，招收的学员全部为初中毕业生。1954年，学校由并州路迁往坞城路。
1955年9月，学校更名为“太原铁路运输经济学校”，归铁道部直接领导。
1957年4月，在铁道部召开的全国铁路中专校长会上，决定将大同铁路运输机械学校与太原铁路运输经济学校合并。同年7月，学校更名为“铁道部太原铁路运输机械学校”。
1958年，学校由1955年以来铁道部直接领导，改为铁道部主管业务，日常行政归太原铁路局分管的双重领导。同年7月，根据上级党委决定，学校正式成立了“太原铁路大学”。1959年4月，学校改为“太原铁道学院”。1960年7月，根据全国铁路会议决定，更名为“太原铁路学院”。1962年，大学停办，并撤销了附设三年的太原铁路技工学校，学校又恢复为中专学校。同年4月，学校中专部奉命改名为“太原铁路机械学校”。
从1963年4月起，学校由原太原铁路局领导再次改为由铁道部直接领导，在此后7年时间里，学校一直是铁道部直属的唯一一所中等专业学校。
1969年，铁道部下发文件决定学校停办，改建为工厂，名称为“铁道部太原机车车辆机械工厂”。1970年7月，铁道部与交通部、邮电部所属邮政部分合并，成立新的交通部，铁路由交通部领导。1972年4月，交通部下发文件撤销“太原机车车辆机械工厂”，划归太原铁路局，筹建太原铁路中等专业技术学校。
1973年3月，交通部批准，由太原铁路中等专业技术学校负责筹建、成立“太原铁路司机学校”。同年底，太原铁路中等专业技术学校，改名为“太原铁路机械学校”。学校对外两块牌子，同时招收中专、技工两类学生。1975年1月，国家恢复成立了铁道部。
1983年底，太原铁路局撤销，太原铁路机械学校的行政归属由太原铁路局改为北京铁路局。
2005年3月，太原铁路机械学校由北京铁路局整建制划归太原铁路局管理。同年10月，太原铁路局与山西省教育厅签署太原铁路机械学校属地化管理协议，学校正式移交到地方，翻开了太原铁路机械学校办学历史崭新的一页。