中师范高等专科学校是由原山西省太谷师范学校和山西省太行师范学校合并组建的。
太谷师范学校创建于1949年4月，是由晋中第三中学和太谷县立中学合并建立的，学校位于太谷县城内。创建初期，还占有孔祥熙宅院和无边寺白塔院，以办初师班为主，兼办高级短期培训班，附属小学设在安禅寺院内。1952年8月，学校除招收三年制初师和短师班外，又招收后师（即中师）班，由初等师范开始向中师过渡。10月，寿（阳）榆（次）太（谷）祁（县）联师并入太谷师范。1954年9月，平（遥）介（休）灵（石）联师又并入。学校由“山西省立太谷师范学校”更名为“山西省太谷师范学校”。1959年，学校只招收中师生，初等师范向中等师范的过渡完成。1966年“文化大革命”开始后，招生中断。1967年校办教具厂被山西省教学仪器供应站接管。1970年附属小学下放归太谷县管辖。1971年7月，学校恢复招生。1973年12月，恢复太谷师范附属小学。1978年十一届三中全会后，学校教育教学秩序恢复正常，并加快了发展。1981年10月，白塔院被太谷县接管。1988年，国家教委派专家来校考察评估后，授予学校“为基础教育培养合格师资，方向明确，成绩显著”荣誉，并奖励10万元。90年代初，学校标准化建设取得了显著成绩，得到了省教委的高度评价，确定太谷师范为山西省中师对外开放的“窗口学校”。2002年，学校开始招收“3+2”学制大专生，设有小教文科、理科、英语、计算机、音乐等专业，学校进入由中师向小教大专的过渡时期。为顺利完成过度，学校新的领导班子创新了办学思想，确定了“三个中心”的办学目标。9月，学校大张旗鼓地开展了校园文化建设活动，提出了“绿色校园”、“人文校园”、“诚信校园”、“科学校园”和“数字校园”五个校园的创建活动。创办了“白塔讲坛”，创刊了《小学教育通讯》，学生社团蓬勃兴起。2003年元月，人民教育学陶行知先生塑像落成。2004年4月，与北师大签署了合作协议，学校成为“北京师范大学教育学院教育实验基地”。5月，学校更名为“晋中师范高等专科学校太谷分校”。2005年5月，学校又更名为“晋中学院太谷师范分院”，在半个多世纪的办学历程中，为国家培养和输送了3万余名毕业生。
太行师范学校座落在太行的腹地的左权县城。学校于1985年筹建，1989年开始招生，1990年学校被定为中国——联合国儿童基金会1990—1994合作加强小学教师培养培训项目校，1991年接受国家教委办学条件标准化检查验收。1992年，晋中行署教委在学校召开了晋中地区中等专业学校后勤管理工作现场会，学校被评为后勤工作先进单位，1997年9月，被晋中军分区授予“军事化管理先进单位”。1997年11月，学校档案管理晋升为省一级标准，1998年10月通过了中师音乐教学评估检查，创全省中师生视唱优秀率第一，1998年11月，学校被山西省教育委员会授予“山西省文明学校”称号，1999年5月，组织学生出色地完成了中央电视台“心连心”艺术团赴麻田演出任务，同年，学校通过了省级德育示范校验收，受到山西省人民政府通报表彰，2001年，省教育厅授予学校“教改先进学校”称号。从建校到迁址，共为老区培养输送6000余名优秀毕业生。
2003年10月，晋中市政府作出将两校合并及迁址建设新校的决定。2004年2月，山西省教育厅同意“关于太谷师范、太行师范合并组建晋中师范高等专科学校晋中分校的请示”。2004年3月，晋中市政府同意成立晋中师范高等专科学校晋中分校筹建领导组。2004年11月，山西省教育厅批复筹建的晋中师范高等专科晋中分校更名为“晋中学院师范分院”。2005年10月10日，晋中学院师范分院新校建设工程举行奠基仪式。2006年9月，新校建设取得阶段性成果，部分建筑投入使用，2006级新生及太谷校区二年级学生近两千人入住新校。2007年10月太谷、太行师生及财产全部迁移到新校，两校实现了实质性合并。
2009年12月底，接受了全国高等学校设置评议委员会专家组考察评估，2010年3月，教育部发文批准我校晋升为师范高等专科学校。