1902年创立之时，山西大学堂由中学专斋和西学专斋两部分组成，为中国近代高等教育史上中西教学共为一体之先例。
　　义和团运动中，山西仇杀天主教主教、教士130余人，教案特别严重。在事变后处理教案时，教会对清廷的经济赔偿方案拒不接受。僵持中，在中国传教数十年的英国耶稣教浸礼会传教士李提摩太 （RichardTimothy）于1901年3月向清廷议和全权大臣李鸿章与奕劻提议，以山西教案赔款50万两白银用于在太原创办一所近代中西大学堂，选拔全省优秀学子入学，学习近代学问。于5月29日递交 《上李傅相办理山西教案章程七条》，大意为：共罚白银50万两，每年交5万两，十年为止，设立学堂，教导有用之学，开导晋省人知识。对此李鸿章、奕劻立即表示赞同并电告巡抚岑春煊遵办。10月岑春煊曾派洋务局提调周之骧赴上海与李提摩太面谈此事并议定了创办中西大学堂合同八条。
　　1902年初，李提摩太偕人来太原拟签订正式合同时，方知晋省已办起了山西大学堂。于是他又建议岑春煊将山西大学堂与他拟创办的中西大学堂会并办理。合并后山西大学堂内设两部，一部专教中学，由华人负责；一部专教西学，由李提摩太本人负责。后经多方反复筹商，并交由西大学堂学生进行了民意测验，对有关细节进行了逐条逐字的斟酌，议定了合办山西大学堂的合同23条，于光绪二十八年五月初二日（1902年6月7日）由山西司道及绅士等与李提摩太及拟聘之西学专斋总教习敦崇礼签字，巡抚盖章立案，呈报光绪皇帝朱批。
　　合同生效后，山西大学堂原来部分改为“中学专斋”，总理为谷如墉（山西神池人，进士出身，曾任户部主事，晋阳书院山长），总教习为高燮曾（湖北人，翰林出身，曾任山西提学使），拟办中西学堂改为 “西学专斋”，总理为李提摩太，总教习为敦崇礼。
　　1905年中斋第一批学生毕业，分别授予拔贡、优贡和岁贡的 “贡生名义”。1904至1905两年选派了优秀学生40名留学日本。
　　西学专斋初办时只设有预科，教习多为外籍人，教学内容和方法基本上与英国学校相同。开设的课程一般是近代学科，有英语、数学、文学、法律、物理、化学、采矿、格致、西洋史、世界史、体操、图画等，并开有物理和化学实验课。为解决西斋教材不足的问题，李提摩太等还曾于1902年至1908年在上海开设了山西大学堂高译书院，此为中国第一所大学译书院。翻译出版了各种高等、中等和师范学校教材和名著，为引进和传播西方先进科技知识和学术思想起到了重要作用。后来，经过一定发展，西斋于1906年开办了法律、矿学和格致三个专门科，1908年又开办了工程科。省府拨专款，前后从西斋选派了优秀毕业生50余名赴英国留学，学习铁路、采矿、机械等工程科目，这些学生学成归国后为开发矿产、兴办工业及发展本校工科做出了贡献。
　　1903年下半年，各省都按章程规定改为高等学堂，全国只有京师大学堂和山西大学堂仍保留为大学堂，同年10月，天津中西大学堂改为北洋大学堂，直到辛亥革命时，全国总共也只有以上三所大学堂。
　　到1910年，山西大学堂已开办近10年，省出经费50万商银已付清，根据“合同”规定，西学专斋应归还山西自办。11月上旬，李提摩太来并办理了有关移交手续，西斋教习也大部分按合同解聘离晋，不久辛亥革命爆发，中华民国建立，1912年南京临时政府成立，教育部颁布了新的教育法令。遵照新的规章，山西大学堂改名为山西大学校，监督改称为校长，中学专斋与西学专斋的建制同时取消。设立预科和本科，预科分为一、二两部，一部为文法科，二部为理工科，均修业三年，本科分文法工三科。由此山西大学校便奠定了以后文理多科的综合性大学的基础，
　　直至此时，全国公立（官立）大学仍只有北京大学、北洋大学和山西大学三所，1918年7月，山西大学校列入国立范围。北洋政府时期，山西大学校被称为国立第三大学。并规定凡是山西大学本科毕业生，以其所学任事三年，或曾任校长及教员满三年者可参加参议员选举。直到1922年重新颁布学制，全国大学才逐步增多。