1924年，19歲的關麟征進入國民黨陸軍軍官學校(黃埔軍校)，成為第一期學員。他被編為第三隊，並參加了中國國民黨。開學典禮上，孫中山勉勵學員不僅要做一個有高度才能的軍人，而且要做一個不怕苦、不怕死的軍人。「不怕苦、不怕死的軍人」對關麟征一生的戎馬生涯產生了重要影響。

　　「古北口」戰初告捷

　　黃埔軍校畢業後，關麟征在經歷了東征陳炯明和中原大戰之後，積累了一定的實戰經驗，也開始逐步顯示出他身上所特有的軍事才能和天賦。「九一八」事變後，關麟征常以「毋忘國恥，收復失地是中國軍人的任務」來教導部下官兵。1932年年底，徐州成立二十五師，關麟征任師長。宣誓就職時，關麟征以抗日救國為主題，號召全師將士誓死抗擊日寇，保衛中華民族。一個軍人的「黃金時代」由此開啟。

　　1933年年初，日軍攻陷山海關，並進犯察哈爾、熱河境內長城諸口，華北岌岌可危。關麟征奉命開赴古北口抗日。到達前線後，關麟征親臨第一線指揮作戰，猛烈反擊日軍。雙方短兵相接，戰鬥慘烈，關麟征被敵人槍彈炸傷多處，渾身是血，但他仍然力戰不退。中山先生在開學典禮上的那句話時時在關麟征耳邊響起。他一定要做一個「不怕苦、不怕死的軍人」。身旁隨從官兵10餘人全部戰死，他也毫不畏懼，仍然從容指揮官兵與敵人搏鬥，終於將敵人擊退，佔領高地。

　　古北口戰役是自侵略熱河以來日軍受到的第一次沉重打擊。關麟征因古北口抗戰有功，獲國民政府頒發的勳章一枚。他和其他傷員住院期間，北平各大、中學校學生前往慰問獻花者絡繹不絕。《大公報》主筆張季鸞撰寫社論《愛國男兒，血灑疆場》以賀其功。

　　關麟征的妹妹關梧枝回憶，古北口大捷後，關麟征寫下了一首七言詩：「半壁河山狼煙中，烽火照紅北地冰。長城之外牧寇馬，鐵蹄咫尺危古城。大廈將傾於湯火，神州存亡瞬息中。豈肯折膝求苟安，站直拋顱笑顏生。炎黃子孫多傲骨，我今抗日三請纓。」

　　「台兒莊大捷」留英名

　　1937年七七事變時，關麟征已升任五十二軍軍長。這年秋天，他率部隊在平漢鐵路從事抗日鬥爭。9月，他參加了保定戰役。10月，他率五十二軍在漳河南岸擊退日軍土肥原十四師團。轉年，關麟征參加了著名的台兒莊會戰，他迎來了「打日本鬼子一生」的頂峰。

　　1938年3月31日下午，由臨沂南下的日軍阪垣第五師團沂州支隊約4000人配備野炮、坦克突然襲擊關麟征的五十二軍指揮部。此時五十二軍的兵力全部投入戰鬥，關麟征身邊只有約300人的一個警衛營兵力。關麟征臨危不亂，佯攻迷惑敵人。拖延至黃昏後，增援隊伍趕回，關麟征一舉反攻，把日軍阪垣第五師團沂州支隊包圍，全殲日軍騎兵。此後，關麟征乘勝追擊，大大減輕了台兒莊外線進攻的壓力，有力地支援了台兒莊的正面防守戰。不久，關麟征五十二軍、王仲廉八十五軍揮戈南指，加緊對包圍台兒莊的日軍進攻。白天槍炮轟擊，晚上縱火夜戰，使敵人日夜不寧，先後斃敵1000餘人，並將台兒莊東面的甘露寺、楊樓、陶墩等據點收復。這一勝利，使台兒莊東北面所受的日軍威脅全部解除。4月6日晚，李宗仁下令全線反攻，中國軍隊在台兒莊戰役中獲得了輝煌勝利。

　　台兒莊戰役後，4月下旬關麟征率軍把日軍岡崎支隊包圍在碼頭鎮西面的北澇溝。關親自指揮部隊勇猛圍殲堵擊敵人，使日軍死傷纍纍，傷亡慘重，僅日軍四十一、四十二兩個聯隊傷亡即達1400多人，獲得重大戰果。

　　關麟征因台兒莊作戰有功，升任第三十二軍團長。當時，在黃埔軍校畢業生中任軍團長的僅有胡宗南和他兩人。在台兒莊戰役中與關麟征較量過的阪垣征四郎說：「關麟征一個軍應視普通支那十個軍。」關麟征由此得名「關鐵拳」，國內的軍事評論家對他的軍事才能亦大加讚賞。