一九六四年六月，羅瑞卿陪同毛澤東檢閱北京、濟南軍區的軍事匯報表演。

林彪與羅瑞卿長期是上下級關係。1959年廬山會議後，林彪取代彭德懷任國防部長，原總參謀長黃克誠因被打成「彭德懷反黨集團」成員而被免職，經林彪向中共中央提名，羅瑞卿由公安部長職位調任總參謀長。

起初，林、羅工作上相處尚可，但從1961年起就有點矛盾。1964年以後，林彪在幾個重要問題上逐漸對羅瑞卿心懷不滿，以致發展到恨之入骨的程度。1965年秋，林彪對陶鑄說：1960年，羅瑞卿對我的合作是好的。但是從1962年起，就開始疏遠我、封鎖我，到1965年便正式反對我了。

由比武大會引發的矛盾

林彪對羅瑞卿表露出明顯的不滿，是從1964年的全軍大比武開始的。為進一步促進部隊的軍事訓練，1964年春，中央軍委決定在全軍舉行一次比武活動。1964年6、7、8月期間，全軍分18個區舉行了比武大會，參加比武和表演的有1.3萬餘名幹部、戰士和民兵，軍內外參觀的幹部近10萬人。

羅瑞卿在公安部會議上講話。

1964年6月15日和16日，毛澤東、周恩來、劉少奇、朱德、董必武、鄧小平等黨和國家領導人，檢閱北京部隊和濟南部隊的比武表演。毛澤東對這次比武活動評價很高，並指示要在全軍普及「尖子」經驗。

這次全軍大比武對於提高全軍的軍事素質和戰鬥力起了重要作用，但這一做法卻並不符合林彪此時的治軍思路。1960年，林彪曾提出部隊的政治「四個第一」的觀點，即人的因素第一、政治工作第一、思想工作第一、活的思想第一。全軍大比武顯然與他的「四個第一」不一致。因此，對於這次全軍大練兵和大比武，林彪起初採取的是靜觀的態度。後來覺得有文章可做，就派葉群等人到廣州軍區當年他參加南昌起義時所在的連隊等基層單位搞調查。調查中發現有些單位軍事訓練佔用的時間多了一些，比武中個別單位有錦標主義、形式主義等問題。於是，林彪、葉群抓住這些問題不放，指責大比武是單純軍事觀點，衝擊了政治。

1964年11月30日，林彪借全軍組織工作會議召開之機，提出了「突出政治」。他說：「各級黨委一定要把政治思想工作放在首要地位，一定要突出政治。」他甚至說，軍事訓練不應衝擊政治，相反政治可以衝擊其他，並要求1965年應當著重抓政治。林彪的講話作為《關於當前部隊工作的指示》下發全軍貫徹執行。在林彪的壓力之下，大比武活動就這樣偃旗息鼓了。

林彪決心整倒羅瑞卿

羅瑞卿不同意林彪對大比武的批評，認為「1964年軍事訓練工作是建國以來最好的一年」，「去年是不是衝擊了政治、衝擊了學毛著？主要的不是，有一些是，主要的我看不是」。對於林彪關於「突出政治」的指示，羅瑞卿說：政治「也不能亂衝一氣」。以後，羅瑞卿又多次提出，不要搞空頭政治，說：「如果單純把政治搞好，別的都不好，垮下來，這種政治恐怕不能算好政治，是空頭政治，哪裡有這種政治！」「軍事訓練搞不好，浪費事小，打起仗來就要亡黨亡國。」

本來在大比武這件事上，林彪就認為羅瑞卿不聽話，同他有二心，產生了要將羅整下來的想法。1964年5月，毛澤東提出培養革命事業接班人的問題，要求每個人都要準備接班人，還要有三線接班人。在貫徹執行毛澤東指示的過程中，羅瑞卿曾就新老幹部交替問題向林彪作過匯報，並曾講過有些老幹部應當主動「讓賢」之類的話。一向多疑的林彪聽了，認定這是羅瑞卿要他讓賢，更堅定了打倒羅瑞卿的決心。

葉群向毛澤東告狀

可是，僅一頂「不突出政治」的帽子，還不足以整倒羅瑞卿。於是，從1965年下半年起，林彪就授意李作鵬等人寫揭發羅瑞卿的材料。1965年11月30日，葉群坐專機到杭州，單獨向毛澤東作了幾個小時的匯報。當年中央警衛團負責人張耀祠曾安排葉群向毛澤東匯報，因為葉群談話的時間太久，他還三次進去催葉早點結束談話。據他回憶：

葉群說：「羅瑞卿掌握了軍隊大權，又掌握了公安大權，一旦出事，損失太大，他的個人主義，已經發展到野心家的地步，除非林彪同志把國防部長讓給他。」「林彪的位子讓給他沒關係，但會不會發展到『逼上奪位』的程度呢，我想是會的。主席，他是兩個眼睛盯著這個位置的。」葉群還羅列了羅瑞卿的一些罪名，她說：「羅瑞卿反對林彪『突出政治』，他說，『病號嘛，還管什麼事，病號應讓賢！不要干擾，不要擋路。』」

葉群瘋狂攻擊羅瑞卿

林彪、葉群的誣告顯然產生了作用。12月8日至16日，毛澤東在上海主持召開中共中央政治局常委擴大會議。會議分為三個小組，組長分別是劉少奇、周恩來和鄧小平。葉群在會上分三次作了近十個小時的發言，據參加這次會議的楊成武回憶：

小組會由周恩來主持。他宣佈開會後，葉群首先發言，她是做了充分準備的，講得有聲有色，說：「羅長子反對突出政治，他胡說既要突出政治，也要突出軍事，軍事政治都重要。搞折中主義。」

「翟月英（按：劉亞樓夫人）對我講，劉亞樓在病重時要她把羅瑞卿的四條意見轉告我葉群。四條意見是：一、一個人早晚要退出政治舞台，林總也是要退出政治舞台的；二、要我照顧好林總身體，勸林總多管一管中央的工作；三、部隊的事情讓他羅瑞卿負責；四、這件事辦好了，羅瑞卿不會虧待我葉群。

我當時就把她的話頂了回去，沒想到後來劉亞樓又找101（林彪代號）當面談。」

「還有一次，羅長子到林總這裡匯報工作，林總身體不好，沒有聽完就讓走了。他在走廊裡大吵大嚷：『病號嘛！還管什麼事！病號！讓賢！不要干擾，不要擋道呢！』這完全是逼林總交權、讓位。他這是存心折磨林總，氣林總。」葉群聲色俱厲，心情激動，一下子講了幾個小時，硬說羅瑞卿反對林彪，反對突出政治，使別人聽起來似乎都是真的。

對於開這樣一個會議，事先羅瑞卿本人更是一無所知，會議召開時，他已離開蘇州，正在雲南昆明巡視部隊。會議對羅瑞卿進行的是背靠背的揭發和批判，連申辯的機會都沒有。

當時給羅瑞卿列的「罪狀」，概括起來有三條：一是反對林彪，封鎖林彪，對林彪搞突然襲擊；二是反對突出政治；三是向黨伸手。林彪在會上宣佈：撤銷羅瑞卿的各項職務。

周恩來說：你太天真了

12月16日，周恩來、鄧小平向羅瑞卿傳達毛澤東的談話：「主席對林彪講，反對你，還沒有反對我呢。就是反對我到長江裡遊泳，那是一片好意。這是一。第二，主席說，如果沒有這三條，可以把問題先掛起來，中國有很多問題是掛起來的，掛幾百年不行，還可以掛一萬年。有什麼就檢查什麼。還說，瑞卿的工作是有成績的。主席講，這個事，我們也有責任，沒有發現，及時教育。然後就說，告訴羅總長回北京，回北京再說吧。」

羅瑞卿聽了周恩來、鄧小平的傳達後，很想不通，給周恩來打電話，要求去見毛澤東，去見林彪，希望把問題解釋清楚。周恩來告訴他不能同毛澤東見面後，羅瑞卿又馬上給林彪打電話要求見面。周恩來見此情景，感慨地說：「太天真，你太天真了。」

會後，羅瑞卿即遭隔離審查。隨後又成立了一個「中央工作組」，於1966年的3月4日至4月8日在北京開會，揭發批判羅瑞卿。這次會議最後作出了《關於羅瑞卿同志錯誤問題的報告》，給羅瑞卿羅列了一大堆罪名，諸如：「敵視和反對毛澤東思想，誹謗和攻擊毛澤東同志」，「推行資產階級路線，反對毛主席軍事路線，擅自決定全軍大比武，反對突出政治」，「搞獨立王國」，「公開向黨伸手，逼迫林彪同志『讓賢』、讓權，進行篡軍反黨的陰謀活動」等，還說他是「妄圖奪取兵權，達到他篡軍反黨的罪惡目的」，是「打著紅旗造反」的「埋藏在我們黨內的『定時炸彈』。」