發端於土地革命戰爭時期、蓬勃於抗日戰爭時期的遊擊戰，給侵華日軍造成了相當的兵員損失，削弱了日軍「以戰養戰」搜刮淪陷區支撐前線的能力，據1938年8月至1940年5月在華北方面軍參謀部任職的加登幸太郎說：「現在回憶起來，我在任時，整個方面軍一天平均死傷50名。50名雖不多，但一年就有18000人離開戰列，是大消耗戰。」

　　相比遊擊戰取得的輝煌成績，國民黨軍隊在全面抗戰爆發以來的幾年裡，由於戰略和戰術的雙雙失策，幾乎戰無不敗，損失慘重。不但丟掉了百萬平方公里以上的國土，還令數十萬國軍將士喋血沙場。為改變國民黨的慘敗格局，中共方面有意將遊擊戰傳授給國民黨。1938年11月25日—28日，周恩來、葉劍英來到湖南衡山，出席蔣介石在這裡召開的軍事會議。會上，周、葉二人向蔣介石建議，國共合作開辦遊擊幹部培訓班，系統學習遊擊戰術。

　　蔣介石同意了這個建議，他也認為：「二期抗戰，遊擊戰重於正規戰。」他請中共方面派遣幹部到遊干班教授遊擊戰法。

　　軍事會議結束後，周、葉向中共中央做了匯報。毛澤東說：「去吧，講我們的一篇道理。」中共中央派葉劍英帶一批得力幹部前去衡山，參加南嶽遊干班的創辦。

　　1939年1月，遊干班成立後，國民政府軍事委員會正式任命湯恩伯為主任，葉劍英為副主任。不久，改由蔣介石兼任訓練班主任，白崇禧、陳誠兼副主任，湯恩伯任教育長，葉劍英任副教育長。周恩來被聘為訓練班的國際問題講師。1939年2月15日，訓練班舉行開學典禮。第一期學員共招收了1046人，編為8個大隊。學制定為3個月。訓練內容包括：軍事教育，以遊擊戰的戰略、戰術及爆破技術為主;政治教育，以民眾運動及遊擊戰政治工作為主。軍、政教育課程比例各隊有別，大致占受訓時間的55%和45%。

　　「衡山蒼蒼入紫冥，下看南極老人星。回脆吹散五峰雪，往往飛花落洞庭。」這是唐代偉大詩人李白三上南嶽衡山時留下的詩句。訓練班本部設在衡山上的南嶽聖經學校。葉劍英和中共方面人員集體住在衡山山腳下一處名為「桔盈圃」莊園內，並配有電台一部，救護車一輛。

　　在國民黨開辦的所有培訓班中，遊干班最為與眾不同。遊干班中，長官帶頭參加學習、遵守規章制度，不允許長官打罵侮辱學員。這是國民黨軍隊中從未聽說過的新鮮事。因此，不但學員很擁護，長官也表示贊成。

　　葉劍英曾經參與過黃埔軍校的籌建，任教授部副主任。到延安後，他又擔任工農紅軍學校校長。在軍事教育上有豐富的經驗。在培訓中，葉劍英借鑒黃埔軍校和紅軍學校辦學的成功經驗，強調教育訓練要從抗戰的實際出發，嚴格要求。各門課程的教學大綱和講義教材，都由他直接審定。不僅如此，葉劍英還親自講授「遊擊戰爭概論」這門主課。有些學員開始瞧不起「土八路」，認為遊擊戰搞不出什麼名堂來，後來一聽講課，覺得很有道理，就逐漸佩服起來了。

　　國民黨軍事委員會軍訓部學員程兆熊在對遊干班的「視察報告書」中承認：「學員曾向余言及遊擊戰術一課之實地演習情形，謂絕非紙上談兵之可比，該班訓練之切實，當可想見。」

　　葉劍英上課時通常身穿一套褪了色的軍裝，講得深入淺出，通俗易懂。他精闢的見解，出色的口才，儒雅的風度，深深吸引住了所有在場的聽眾。當時來聽葉劍英講課的，甚至還有衡山各寺廟的和尚。

　　國際新聞社戰地記者高詠在一篇通訊中描述了葉劍英講授「遊擊戰爭概論」一課的情形：「在課堂上，遊擊戰爭戰略家葉劍英先生的遊擊戰爭概論一課，最為學員們所愛好。這一門課，在課表上規定是二十小時，佔全班軍事學科七分之一，每次上課兩小時，總要發生學生提延長時間的要求。每一次上課，都是肅穆的空氣統治著課堂，遊擊戰爭的革命意義，遊擊隊產生的客觀條件，遊擊戰的運用，每一個單字，都在每一個聽眾的腦子裡爬過，也在每一個聽眾的筆記簿上爬過。下課的號聲響了，聽眾還是不願意走，『再講五分鐘好不好?』，這個問題常常發出來，這話語裡充滿了迫切的求知心與戰士的要求。」

　　在衡山，遊干班的學習任務很重，食宿條件很差。葉劍英雖是副教育長，但他和全體學員一樣，保持著艱苦樸素的作風。他對國民黨同事坦誠以待，交心談心，結下了深厚的友誼。

　　國民黨高級將領李默庵是黃埔第一期學生，十分尊重葉劍英。上世紀80年代，李默庵從美國歸來，特意看望葉劍英，還恭敬地稱他為「老師」。李默庵回憶這段往事，感慨地說：「我是他的學生，在南嶽，凡是教育方面的事，都由他作主，他講的遊擊戰術課，改變了國民黨軍將領只打正規戰的觀念。我們也學著發動民眾，開展遊擊戰爭，消滅敵人有生力量，不計一城一地之得失。這在國民黨軍中開創了先例，對推動抗日戰爭起到了很大的作用。」

　　在葉劍英等中共方面人員的感染下，不少學員表示結業後要效力戰場，同共產黨遊擊隊並肩作戰。學員吳眾、石堅、吳澎、鄺定家等畢業後參加了新四軍一支隊，活躍在抗日最前線。

　　1939年6月初，中共中央調葉劍英去重慶，協助周恩來主持南方局的工作。後來，1940年，受「皖南事變」的影響，辦到第三期時，中共方面的教官和工作人員便全部撤出了。