1937年「七七事變」後，日軍進攻勢頭正盛，在平張地區擊潰西北軍宋哲元部29軍後，於8月14日組成「察哈爾派遣兵團」以東條英機中將為統率，兵鋒直指晉綏地區。閻錫山抱病飛抵南京參加國民政府組織的南京軍事會議。8月16日，國民政府下達國家總動員令，佈置全面對日作戰，閻錫山被任命為第二戰區司令長官，指揮晉、綏、察三省所有部隊，在此區域內的中國軍隊共編為六、七、十八三個集團軍。

　　楊愛源任第六集團軍總司令，孫楚任副司令;轄第三十三軍、軍長孫楚，副軍長周原鍵。下轄第七十三師、獨立第三旅、獨立第四旅、獨立第八旅、

　　第三十四軍、軍長李楊澄源，副軍長傅存懷。下轄第七十一師、第一九六旅、第二0三旅。

　　傅作義任第七集團軍總司令，劉汝明任副司令，下轄第十三軍軍長湯恩伯、第十七軍軍長高桂滋、第十九軍軍長王靖國、第六十一軍軍長李服膺、第三十五軍軍長傅作義(兼)，以及察哈爾省主席劉汝明的第六十七軍。

　　朱德任十八集團軍總司令，彭德懷任副總司令。下轄第一一五師師長林彪、第一二0師師長賀龍、第一二九師師長劉伯承。

　　8月7日，日軍以阪垣征四郎第五師團、璣谷廉介第十師團一部共十個聯隊3.5萬人沿平綏線向南口進攻，傅作義部第三十五軍對日軍進行了堅決抵抗，連克商都、化德等日軍據點。晉綏軍陳長捷第七十二師、馬延守部獨立騎兵第七旅以及李服膺部第六十一軍趕來增援。由於原西北軍第68軍劉汝明部放棄陣地，致使傅部守軍陣地全線潰敗，27日日軍攻陷張家口，山西門戶洞開。

　　張家口失陷後，閻錫山於8月28日於代縣太和嶺設立行營，部署與日軍展開大同會戰。參加會戰的部隊有晉綏軍王靖國第十九軍、李服膺第六十一軍、楊澄源的第三十四軍、趙承綏騎兵軍兩個旅、傅作義第三十五軍兩個步兵旅、陳長捷第七十二師和馬延守騎兵旅，西北軍劉茂恩的第十五軍，具體佈置是：

　　以李服膺第六十一軍七個團守天鎮、高陽，堅決阻擊日軍進攻，以王靖國第十九軍九個團位於大同以東聚樂堡一線接應六十一軍;楊澄源第三十四軍、西北軍劉茂恩部十五軍集結大同以南渾源、東井集一帶隨時增援;以趙承綏騎兵軍兩個旅集結大同以北興和一線;以傅作義第三十五軍共九個團加兩個騎兵旅一個山炮團一個野炮營集結東豐鎮和北得勝堡地區作為北線兵團。以此三部作為十九軍和六十一軍的接應部隊，協助阻擊日軍進攻。從南口突圍出來的陳長捷第七十二師加上新編獨立第四旅編成預備第一軍由陳長捷任軍長，集結在大同以南應縣。孫楚第三十三軍孟憲吉獨立第八旅、章拯宇獨立第三旅集結龍泉關、平型關之間也作為預備隊。此兩部為整個大同會戰的總預備隊

　　這是晉綏軍繼1926年與國民軍展開的大同保衛戰後第二次大同保衛戰。蔣介石對這次作戰興趣非常高，期望以善守聞名的晉綏軍在日軍進攻面前能夠再次創造大同保衛戰的勝利。

　　李服膺的六十一軍把主戰場選擇在天鎮，在天鎮擺了六個團，高陽只有一個團，企圖在天鎮給日軍以重大殺傷後，以王靖國十九軍以及其他後繼部隊給予反擊。9月1日，日軍阪垣第五師團、獨立混成第十一旅團、獨立混成第一旅團等部以及東條英機察哈爾兵團先頭部隊總兵力4.5萬人，在飛機和坦克的支援下，自張家口西進，過懷安向天鎮六十一軍陣地發起猛攻。李服膺指揮守軍奮起反擊，終日激戰，連續四天四夜日軍未能前進，李服膺部傷亡也十分巨大。日軍首攻受挫，稍事休整，於9月6日再次向守軍發起強大攻勢，又激戰四天四天夜，由於日軍進兵速度快，大同外圍各防禦工事沒有完成，再加上日軍裝備精良，攻勢十分猛烈，天鎮守軍六個團幾乎損失殆盡。9月11日，日軍終於攻陷天鎮進逼高陽。高陽守軍力量薄弱，經不住日軍強大炮火，到9月13日高陽失守。此戰晉綏軍第六十一軍幾乎被打光。

　　天鎮高陽失守，牽動全局，日軍進逼聚樂堡。日軍以猛烈的炮火向聚樂堡十九軍陣地轟擊。王靖國指揮十九軍與日軍激戰兩天，傷亡竟達3000人，終於不敵撤出聚樂堡陣地，大同隨即陷落。

　　天鎮、陽高失守使大同會戰計畫全線失敗。為了嚴明軍紀，天鎮守將第六十一軍軍長李服膺被閻錫山以放棄陣地之罪斬殺於太原城。李服膺被處決後，第六十一軍軍長由陳長捷接任。

　　晉綏軍自1937年8月7日進行張家口保衛戰開始，自11月9日撤出太原為止，對日軍頑強抵抗了整整三個月，全軍十餘萬人僅存不足兩萬。在閻錫山的督率下，慘烈的晉北保衛戰顯示了晉綏軍保家衛國的堅強決心和旺盛的作戰毅志。晉綏軍優良的兵工企業生產的武器裝備也為晉綏軍抗日作戰作出了最大貢獻。晉北保衛戰成為閻錫山人生中最為輝煌燦爛的一頁。

　　太原失守以後，閻錫山先是退到臨汾，後又退到隰縣的大麥郊。太原丟失，工業企業喪失殆盡，部隊也差不多打光了，部屬們在日軍凌歷的攻勢下，都四散逃開，下落不明。各友軍盡皆以保存實力為第一要務，逃得無影無蹤，山西大好河山眼看就要全部陷入敵手，這個時候閻錫山的心情十分沮喪，思想也開始產生一些變化。對山西和自己的前途都作了重新考慮。

　　12月初郭宗汾帶七十二師趕到大麥郊，閻錫山的心情這才稍有好轉。到十二月底，各部情況基本都有了下落，日軍的進攻也稍有停頓，閻錫山抓緊時間把殘破的部隊進行重新整編。又在晉西各縣又招募了一批新兵，補充到部隊中去。經過這整編後的晉綏軍基本序列如下：

　　第十九軍軍長王靖國。轄六十八師師長孟憲吉，下轄二一0、二一一兩個旅共四個團。七十師師長杜坤。下轄二0三、二0五兩個旅共四個團。

　　六十一軍軍長陳長捷。轄六十九師師長楊澄源、下轄二0八、二0一兩個旅四個團。七十二師師長段樹華，下轄二一七、二0九兩個旅四個團。

　　第三十五軍軍長傅作義。轄一0一師師長董其武，七十三師師長劉奉濱;二一一旅旅長孫蘭峰。

　　騎兵軍軍長趙承綏，轄騎兵第一師師長彭毓斌;騎兵第二師師長孫長勝。步兵第二00旅旅長李慶祥。

　　全軍不足五萬人。

　　原有的第三十三軍、三十四軍由於損失太大，僅能保留一個空頭番號，人員統統充實到以上三個軍中，部隊軍官則另外組建了教導第二師。

　　1938年2月，日軍集中三萬餘人沿同蒲鐵路繼續南進，相繼佔領介休、文水、17日又佔分陽、孝義。20日兵鋒直指閻錫山駐地之隰縣大麥郊。閻錫山嚴令十九軍王靖國部佈防交口鎮禦敵。二戰區執法總監張培梅和趙戴文親赴交口坐鎮督戰。王靖國保證可以守三天以利閻錫山佈置撤退。沒想到王靖國部杜坤第七十師僅僅守了一個晚上陣地即被日軍突破，第二0五旅旅長趙錫章陣亡。守隰縣之陳長捷部六十一軍孟憲吉六十八師與日軍反覆爭奪，隰縣數度失陷又奪回。到26日，日軍再次攻陷隰縣，同時趙城、洪洞、靈石、霍縣相繼失守。

　　為了重振晉綏軍，盡快恢復晉綏軍的實力，閻錫山在共產黨員薄一波的幫助下，建立了「山西抗敵決死隊」共編成四個縱隊，吸收了大批山西青年參軍。又從山西各工廠逃出的產業工人中組成的一個「工衛旅」。

　　中原大戰結束後，閻錫山逐漸失去了晉綏軍初創時期的那種寬大胸懷，變得心胸狹窄，氣量極小，對部下猜疑重重。首先在1932年使晉綏軍元老商震帶三十二軍離開了山西。後又對晉綏軍另一名將李生達痛下殺手，在用人方面閻錫山也失去了晉綏軍初創時期不論地區，廣納人才的胸襟。尤其在對王靖國這種無能將軍的重用更暴露了閻氏任人唯親的惡習。張培梅的自殺充分表現了此時的閻錫山已經失去了廣納人才，重振晉綏軍的能力，也不可能在治理山西方面有更大作為，更不可能把晉綏軍帶向光明的前途。

　　傅作義是晉綏軍名將，從1926年晉北保衛戰率一個團守天鎮起即在晉軍中暫露頭角，後在涿州保衛戰中一戰成名，屢立戰功，深得蔣介石之器重，這引起了閻錫山的不滿，中原大戰時閻就對傅設置掣肘。太原失守後閻想藉故撤掉傅作義，被蔣介石製止，這更加深了閻要除掉傅作義的決心。傅作義對此心知肚明，急切地想離開閻錫山。1938年冬，蔣介石未經與閻錫山商議，突然任命傅作義為第八戰區副司令長官兼綏遠省主席，並將傅作義的第三十五軍擴編成第一0一師、師長董其武，新編三十一師、師長孫蘭峰，新編第三十二師、師長袁慶榮等三個師。三十五軍實力一下子大大加強。傅作義得此任命後迅速率三十五軍前往綏遠五原縣駐防，從此脫離了閻錫山的控制。

　　此三個師長都是傅作義一手提拔起來的，其中孫蘭峰和袁慶榮都是在傅部從連、排長做起，最後做到傅部兵團司令和張垣綏靖公署參謀長。董其武雖然不是傅作義的起家老將，但董深諳兵法，為人忠誠。1929年投奔傅作義後，立即成為傅最信任的部將。在追隨傅作義二十年的戎馬生涯中，每逢惡戰董皆為傅作義充當前鋒大將，並屢立戰功，深得傅之信任。