1912年2月12日，清帝溥儀宣佈退位。消息傳來，馮玉祥於大年初三(2月20日)登上去北京的火車。馮玉祥到了北京，先在西單橫二條的京畿軍政執法處住下，在此與李鳴鐘不期而遇。李其時正在執法處當衛士，是馮到北京後見到的第一位他的「二十鎮」袍澤。

　　2月29日，駐防京畿的陸軍第三鎮發生兵變，北京四城火光沖天，變兵大肆搶掠。兵變平息後，袁世凱對京師的拱衛不再信賴北洋六鎮，決定編練中、前、左、右、後5路備補軍，即禁衛軍之前身，委陸建章為左路備補軍統領。

　　左路備補軍轄中、前、左、右、後5營，馮玉祥被任命為前營(二營)營長;每營轄中、前、左、右、後5哨(連)，哨官相當連長;每哨轄3排，每排轄3棚(班)。

　　雖然馮玉祥被委以二營營長，手下還沒有一兵一卒，便著手去直隸景縣招募新兵，隨行的有中營(一營)前哨哨長宋哲元。3月5日，馮玉祥前往景縣募兵，到10日為止，順利招滿一營新兵。應募的新兵全部是貧苦農民和手工業者，曾經當過兵的一個不要。要甄別後者，馮玉祥就提出了一個簡易辦法：令應募者站成一列，突然大呼一聲口令「立正」，大凡當過兵的，會本能地做出「立正」動作。此次景縣招募的新兵中，有不少人日後成為西北軍著名將領，如孫良誠、劉汝明、佟麟閣、程希賢、韓占元、劉玉山、李長清、曹福林、安樹德、張俊聲、陳新起、張德順等。

　　馮玉祥帶隊回到北京，於正式編隊之前，先在南苑軍營對新兵進行為期5天的簡單訓練。這時的新兵沒有軍裝，更沒有武器，一個個蓬頭垢面，鶉衣百結，走到街上，猶如乞丐。用馮自己的話說：「怎麼看也像一群叫花子，我自己就像一個花子頭。」

　　馮營在南苑滯留期間，仍有人前來應募，如石友三、過之綱、馮治安等未來的西北軍將領。

　　在進行術科教學中，為便於士兵牢記訓練要領，馮玉祥親自編寫了三首軍歌：《戰鬥動作歌》《射擊軍紀歌》和《利用地物歌》，這三首歌後來成為馮軍著名的「三大軍歌」，歌詞摘錄《典範令》的要點，曲譜則借用基督教讚美詩的旋律。

　　半年之後，馮營告別三家店，移駐北京平則門(阜成門)內，仍一邊訓練，一邊守護設在北京城西南隅工部王恭廠的舊火藥庫。馮玉祥為官兵編纂一本名曰《精神書》的小冊子，其中分「道德精神」、「愛國精神」和「軍紀精神」三部分，凡80餘條，每條都是格言式或語錄式的條目，「有過必改，過則勿憚改。人非聖賢，孰能無過?過而能改，勝於無過。」「古今英雄，百戰而不死，非是怕死，乃是真不怕死。」這些條目官兵都要朝夕誦讀，會背會講，此後的西北軍也是如此。以致後來祖父韓復矩主魯時期，還能對《精神書》倒背如流。

　　1913年3月，一位19歲的學生在北京投效左路備補軍第二營中哨充親兵，這位年輕人就是後來的西北軍名將葛金章。

　　這年春天，左路備補軍訓練告一段落，二營一部留在城裡擔任勤務，負責城防，兼為外交部大樓等政府重要機關站崗;一部仍返回三家店守護陸軍部軍械局。韓復矩隨營部駐城內。9月，左路備補軍奉命改編為「京衛軍」，下轄左翼第一團和左翼第二團，陸承武營擴編為左翼第一團，陸任團長;馮玉祥營擴編為左翼第二團，馮任團長。

　　為了擴編部隊，馮玉祥帶上李鳴鐘等幾位官佐頭目赴河南郾城一帶募兵。李是河南沈丘縣人，不到兩個星期，便招足1600名新兵，其中有吉鴻昌、梁冠英、張凌雲、田金凱、趙廷選、魏鳳樓、程心明、雷太平、雷中田、田春芳、李團沙、李曾志等，這些河南籍的新兵後來都成為西北軍第二代著名戰將。

　　另外，席液池、韓德元(韓占元的胞弟)、丁漢民、曹夢九等雖不是這次招的，不夠兵格，但被收在軍營伙房內當伙夫，3個月後補為哨兵。馮玉祥在第十六混成旅第一期模範連當學兵期間，祖父韓復矩是他們的上級排長。

　　不久，馮營奉命開往北苑訓練兩個月，其間新兵開始編製成營，每人領到一套黃色布軍裝(戲稱「黃馬褂」)，每哨發90支破舊的老槍，分單筒毛瑟步槍和雙筒毛瑟步槍兩種。馮治安初為伙夫，後補前哨哨兵。石友三初為馬伕，後補左哨哨兵。

　　5月中旬，馮營開往京西三家店，一邊訓練，一邊守護陸軍部軍械局。

　　這時，居家的祖父韓復矩聽說老管帶馮玉祥在北京又當上營長，時下正在邀集舊部，趕緊於6月初離家，很快就在京西三家店找到了馮玉祥。馮玉祥先安排祖父在二營任什長，未及1月，又讓他做起老本行———營部司書。

　　馮營在三家店駐紮半年，其間又有一些前二十鎮袍澤前來投效，如趙席聘、谷良友、張維璽、馬式彬、馮安邦等，初皆委以什長，旋即升為哨長。是時過之綱、孫良誠、韓占元、佟麟閣、劉汝明、程希賢、李長清、劉玉山、席液池等皆升為什長。

　　馮玉祥首先在營中成立三個講堂：官長講堂、頭目講堂和特別兵講堂。祖父韓復矩在官長講堂聽課。馮玉祥又創建「拳擊技術班」和「器械體操班」，旨在加強官兵體質鍛煉。什長以上官佐有「圖上戰術課」。

　　不久，馮玉祥把新兵帶回北京，先安置在順治門(宣武門)外的一座大廟裡住下，隨即編製成團。

　　「老二營」擴編為團後，祖父韓復矩向馮玉祥明確表示：志在帶兵打仗，不願再做案頭工作，馮玉祥便調他到二團二營六連任排長。

　　馮團編製完成後，即開往北苑訓練3個月。1914年初，馮團又調進城裡朝陽門內東四祿米倉駐防。由於這裡長年無人居住，環境骯髒陰冷，很多官兵都病倒了。不久，追繳白朗的命令下達，馮玉祥就帶著這支剛組建的部隊出征了。