1905年4月7日，關麟征出生於陝西鄠縣真花磑村一戶普通的農民家中，父親關樹銘，母親楊氏，繼母賈氏，兄妹六人，關家世代務農，家業中等。關志道幼時在本村私塾讀書，九歲轉到鄰村小學，因關父對其期望甚殷，不久被送到鄠縣高等小學讀書，畢業考試成績第一，卻因平時愛打抱不平，經常打架而被降為第二名進入陝西省立第三中學，校長對人說：「這孩子將來成器就是楊六郎;不成器就是賣麻糖。」當時老師問他的志願，他因見戶縣城裡駐了一連兵，那位連長很是威風，故答：「希望將來當個連長。」

　　關麟征15歲小學畢業後，來到省城西安，考進省立第三中學。那時鎮嵩軍劉鎮華在西安舉辦講武堂，他每次路過講武堂門口，見講武堂照壁上寫著斗大的「奮鬥」兩字，心裡非常羨慕。可是他是個窮學生，沒有背景，不得其門而入，只有望堂興歎而已。後因家中迭遭變故，負債纍纍，中途輟學。他決心棄文學武，投軍從戎，更希望能掙錢幫助家庭還債。

　　這時，省立第三中學也有兩個學生想去當兵，他們設法弄到一封去耀縣投奔鎮嵩軍某營長的介紹信，於是就邀關麟征一起去。到耀縣，他們在駐軍營部遞進了介紹信，等候了一個星期，連營長的影子也沒有見到。原來他們不懂門道，沒有送禮，光憑一紙空文是不能解決問題的。三人只好乘興而來，敗興而歸，重返西安。

　　1924年初，關麟征的一位朋友鄧毓玫悄悄告訴他，孫中山先生在廣州開辦一所軍官學校，秘密招生。他們弄到一張胡景翼處簽發的署名鄧毓玫和吳麟征的護照，吳嫌廣東太遠不想去，他問關麟征想不想去廣州投考軍校，如果願去，只要將護照上的吳改成關就行了。這一消息使他喜出望外，立即答應。他回家稟明情況，攜帶父親賣牲口的25塊銀圓作為旅費，把護照上的「吳麟征」改為「關麟征」，從此，關志道就改名關麟征了。就這樣他順利進入了黃埔軍校第一期。

　　他們從西安步行到河南靈寶，換乘火車到了上海，找到了同盟會元老，陝西同鄉於右任。於問他們：「你們為什麼要當兵?」那時，他根本不懂什麼是「主義」、「革命」，只好老實回答：「當軍官威風。」於右任被關麟征純樸憨厚的回答逗笑了，簡單地向他們講解了孫中山組織革命隊伍反對北洋軍閥，進行國民革命的道理。不久，他們11人(包含杜聿明、張耀明)從於右任處取得了秘密介紹信，買舟南下廣州。

　　1924年4月到達羊城，後乘船去黃埔島，入國民黨陸軍軍官學校(黃埔軍校)，為第一期學員，他被編為第三隊，並參加了中國國民黨。5月5日開始第一期新生入伍，6月16日舉行開學典禮，關麟征和新學員一起聆聽了孫中山先生的講演。孫中山勉勵學員不僅要做一個有高度才能的軍人，而且要做一個不怕苦、不怕死的軍人。他的話，對關麟征以後的戎馬生涯產生了重要影響。在軍事教育課程方面，他學習了典、范、令和四大教程，並從事軍事操練和實戰演習，為以後征戰疆場奠定了初步基礎。