1932年2月，聶榮臻調任中國工農紅軍第一軍團政治委員，林彪也同時接替朱德出任第一軍團軍團長。從此，聶榮臻開始與這位比自己小8歲的軍團長一起領導紅一軍團轉戰南北。

1932年4月，紅一軍團攻克福建第二大城市漳州。當時，為了進行下一步的戰鬥準備，「籌款子」成了部隊一項主要任務。部隊入城後，有條不紊地進行發動群眾打土豪、擴兵、籌糧、籌款。然而，不愉快的事情發生了。有的部隊在林彪的縱容下，對政策的執行一度搞得很混亂。一天，聶榮臻在街上看到，幾名紅軍戰士正在抽打一些商人。一些人光著身子，身上被打得青一道，紫一道。聶榮臻上前喝止，戰士怯生生地說:「報告政委，這些老財不肯交款，軍團長說……」

聶榮臻憤然找到林彪，說:「林彪同志，在紅軍裡怎麼能採取這種手段呢？這樣，不僅得不到普通市民的同情，連工人、農民也不會擁護，政治影響很壞。」林彪突然反問:「那我們究竟要不要錢？政委同志，沒錢就不能打仗。」

「錢，我們當然要，但我們不光要錢，還要政治。我們是紅軍，如果政治影響搞壞了，籌的錢再多，也是毫無意義的。」聶榮臻嚴肅地說。林彪不再吭聲，在以後的工作中也有所收斂。部隊也杜絕了只顧弄錢，不講政策的傾向。

1934年10月，長征開始了。為了甩掉敵人的圍追堵截，毛澤東四渡赤水，巧出奇兵，調虎離山，巧渡金沙江。這種打法，部隊自然要多走一點路，疲勞一點，但可以蒙蔽敵人，讓敵人對我軍捉摸不透，使我軍由被動變為主動。

林彪對這種高超的指揮藝術不理解，認為這是在走冤枉路，盡走「弓背」，不知走捷徑。他還帶頭倡議搞了一股小小的風波。一天，林彪突然給彭德懷打電話:「德懷同志，現在的領導不成了，再這樣下去，就要失敗。你出來指揮吧，我們服從你領導，你下命令，我們跟你走。」林彪話音剛落，立即遭到彭德懷的嚴厲斥責。當時聶榮臻就在旁邊。他針對林彪這種嚴重的反黨傾向，警告林彪:「林彪同志，你是什麼地位？你怎麼可以指定總司令撤換統帥？我們的軍隊是黨的軍隊，不是個人的軍隊，誰要造反，辦不到。如果你擅自下令部隊行動，我也可以用政委的名義下指令，部隊可以不執行。」

林彪不僅沒有接受聶榮臻的嚴肅批評和勸告，而且還在幾天之後，竟然給周恩來、王稼祥寫信，要求毛澤東下台。

1935年5月12日，中共中央政治局在會理縣城郊外一個名叫鐵廠的地方召開政治局擴大會議，除政治局委員外，彭德懷、聶榮臻和林彪都參加了這次會議。毛澤東對林彪的反黨活動進行了嚴厲的批評。毛澤東說:「什麼弓背路、弓弦路？亂彈琴。你林彪是個娃娃，懂得什麼？！」

1935年，西北革命軍事委員會主席張國燾憑借自己人多槍多，無理要挾中央。當年6月26日，中央在兩河口召開政治局會議。張國燾根本不願執行這次會議的決定。他企圖挑撥一、四方面軍之間和一方面軍內部各部隊的團結，準備把聶榮臻和林彪調離一軍團，聶榮臻到三十一軍去當政委，林彪到另外一個軍去當軍長。

聶榮臻得到信息後，告誡林彪，我們要注意張國燾想把我們「吃掉」。林彪突然板起臉來，說:「榮臻同志，這是什麼意思？你這是搞宗派主義。」

聶榮臻說:「張國燾和中央的思想一貫不一致。我們應該時時警惕。我覺得這不是宗派主義，這是路線問題。」

一提到「路線」這根敏感的神經，林彪心頭突地冒起一股無名火，他竟然猛地拍了一下桌子，「什麼路線問題，你說他路線不對，那麼，他為什麼有那麼多人呢？我們才幾個人？一方面軍才有2萬多，他有8萬多。」聶榮臻緊握的拳頭也猛地在桌子上敲了一下，桌上的一個盤子震落在地，摔得粉碎:「人多就正確嗎？蔣介石的人更多哩，難道蔣介石的路線更正確嗎？」