在「何婆婆」就範的同時，被蔣介石稱為「野心甚熾」的新桂系則繼續給他唱反調。李宗仁一再滯留南京，拒絕前往武漢就職集團軍司令，第四集團軍也就遲遲成立不起來。

蔣介石認識到必須進一步加強與北方馮、閻特別是馮的關係。他親自從南京來到鄭州，與馮玉祥再次見面，還預先托人告訴馮玉祥，說想同對方換帖作盟兄弟。

馮玉祥非常爽快地答應下來：「很好。」於是蔣介石親筆寫了帖子，馮玉祥也寫了帖子。兩人見面後交換帖子，並互相拜了四拜，就此成了把兄弟。
   有了馮玉祥這個把兄弟撐腰，蔣介石不再顧慮李宗仁肯不肯上陣。四月五日，他在徐州誓師北伐。之後一聲令下，蔣、馮、閻軍分別沿津浦、京漢、正太鐵路向奉軍發起進攻。北伐軍所到之處，奉軍節節敗退。

第二次北伐從一開始就注定勝券在握。對蔣介石來說，唯一需要擔心的其實是列強的干涉，尤其將成為北伐主戰場的山東至華北一帶，一直是日本極力擴張勢力的地區。

蔣介石在下野期間，為了試探日本政府今後的對華政策，曾與日本首相田中義一進行過秘密會談。會談中，蔣介石發現，只要他一提到「中國革命志在統一全國」的時候，田中的臉色就變了。

蔣介石曾期望日本能像當初支持他「離俄清黨」一樣，繼續支持他實施北伐，但這次會談結束後，他在日記中寫道：「日本必將妨礙我北伐之行動，以防止中國之統一。」

五月一日，蔣介石率北伐軍克復濟南，已出任南京政府外交部長的黃郛也應召來到濟南。

兩天後的上午，濟南城內忽然槍聲四起，黃郛所住的津浦路局辦公處被駐濟南的日軍包圍，子彈嗖嗖地飛進來。

黃郛上到二樓，用日語朝樓下的日本兵高聲喊：「我是中國的外交部長，不要動武！」日軍這才停止開槍。

黃郛乘汽車前往蔣介石所住的督辦公署，但那裡也不安全，於是又把總部移往一個叫黨家莊的小火車站。

這就是「濟南慘案」（即「濟案」）。據事後中方發佈的調查報告，中國軍民共被日軍打死打傷四千七百餘人，蔡公時等十餘名外交人員也遭到殘殺。身為外交部長的黃郛對日軍的野蠻行徑深感震驚，他說：「日本人沒有當我們中國人是人，這種恥辱與殘酷，不僅自己從來沒有受過，恐怕在歷史上都不曾有過。」

濟案發生時，馮玉祥的專車已抵泰安車站。蔣介石讓人給他打電報說：「不要來了！」老馮倒很點把兄弟的義氣，當即復電：「愈有危險，我愈要去。」

蔣馮會合後，與黃郛等人聚集在黨家莊的一所清真寺外面。大家坐在草地上，商量應付之策。蔣介石問馮玉祥在這種情形下該怎麼辦。馮玉祥說：「現在沒有別的辦法，只有用革命力量先把這地方的日本人俘虜了再說！至於說出什麼大事，我覺得革命就是大事，其它什麼事情都不用管。」

馮玉祥說得很解氣，但事情並沒有這麼簡單。黃郛在冷靜下來之後，判斷濟案絕非偶然，實際是日本干涉中國的一個信號，也是其阻止北伐的明確表示。如果革命軍此時與日本發生正面衝突，不僅會使準備已久且勝利在望的北伐功敗垂成，而且會迅速激化中日矛盾，導致中日提前開戰。

黃郛向蔣介石建議暫時不與日軍直接對抗，繞道濟南繼續北伐，之後再想辦法如何對付日本人。

黃郛的想法道出了蔣介石的心聲，他決定接受黃郛的建議。馮玉祥聽後表示同意，對蔣介石說：「你有那種忍耐力我也贊成。」

隨後，蔣介石改變了單一的軍前交涉方式，令黃郛通過外交渠道與日方進行談判。