1927年4月，日本田中義一上台後，向張作霖強索鐵路權，逼張解決所謂「滿蒙懸案」，從而激起了東北人民的反日怒潮。9月4日瀋陽兩萬人示威遊行，高呼「打倒田中內閣」。在全國反帝浪潮的衝擊下，以及張作霖本人的民族意識，奉系政府未能滿足日本在「滿蒙」築路、開礦、設廠、租地、移民等全部要求，並有所抵制，這為日本內閣所不能容忍，日本關東軍則斷定東北人民的反日遊行系張作霖煽動所致，對他恨之入骨。

　　1928年4月5日，蔣介石為了擴大自己的地盤在徐州誓師，對以張作霖為首的北方舊軍閥舉行「第二次北伐」。4月9日，第一集團軍發起全線進攻。4月30日，各路國民軍對濟南發起總攻。這天夜晚，張宗昌率殘部棄城北逃。5月下旬，國民軍已逼近京津地區。盤踞北京的「中華民國陸海軍大元帥」張作霖見大勢已去，在6月2日發出「出關通電」，宣佈退出北京回東北。

　　這次張作霖回東北，日本提出了最後通牒，脅迫他同意日本的要求，張作霖卻仗著自己手裡還有幾十萬軍隊，不肯鬆口。於是，日本關東軍決定在張作霖回東北的路上除掉這個眼中釘。當國民軍迫近京、津之時，日本「惟恐戰亂波及滿洲」，一面增兵青島，威脅南軍北進;一面按其「東方會議」的決策，對張作霖施加壓力，迫張及早離京。1928年5月18日，日本對交戰雙方發出警告，聲稱：「動亂行將波及京、津地方，而滿洲地方亦有蒙其影響之虞。夫滿蒙之治安維持，為帝國之所最重視，苟有紊亂該地之治安，......帝國政府為維持滿洲治安計，不得不取適宜且有效之措置。」在這「警告」發出的前後，日本加緊了逼張的活動：既催張退回東北，又乘機向張勒索「滿蒙」的權益。

　　1928年5月13日和15日，日本得寸進尺，要他「解決滿蒙諸懸案」。據《時事新報》揭露：當時日本曾向張「提出條件十款，其苛毒不忍言」。有人回憶：芳澤曾屢次逼張，要他履行所謂的「密約」。為逼張作霖退回東北，5月17日晚，日使芳澤會見張作霖，與張談至深夜。芳澤說：「大勢已經如此，為使戰亂不波及京、津，收拾軍隊撤回滿洲以維持滿洲治安，我想無論對中國國民還是對奉天派都是萬全之策。」張作霖聽後不悅，嚴詞拒絕。芳澤繼續追問說：「你們能打過北伐軍嗎?!」張作霖說：「若打不過他們，我們可以退回關外。」芳澤說：「恐怕未必回得去吧。」張作霖說：「關外是我們的家，願意回去就回去，有什麼不行呢?!」

　　芳澤見張作霖不上其圈套，就進一步採取威脅手段，從懷裡掏出日本政府關於滿洲問題警告南北雙方的覺書。並向張作霖提出「滿蒙權益」的要求，逼張作霖答應。不僅如此，他又向張作霖威脅說：「張宗昌的兵在濟南殺死幾十名日本僑民，你對此應負一切責任。」這一連串的威逼，使張勃然大怒，由座上猛地站起來，把手裡的翡翠嘴旱煙袋猛力地向地下一摔，搕成兩段，聲色俱厲地衝著芳澤說：「此事(指張宗昌殺日僑事)一無報告，二無調查，叫我負責，豈有此理!......」他說完之後，就扔下芳澤，怒氣沖沖地離開了客廳。三個多小時的會談就這樣結束了。

　　那時，張作霖本想「留在關內」，他對日本的逼迫行徑「非常不滿」。因而不但口頭上拒絕了芳澤的「勸告」，而且於1928年5月25日發表書面聲明，反對日本1928年5月18日的「警告」。日本見張作霖不聽擺佈，對他繼續施加壓力，警告他：如果不聽勸告，失敗後想回東北，「日軍當解除其武裝」。同時，日本關東軍也「開赴瀋陽、錦州、山海關等地，並將關東軍司令部由旅順遷至瀋陽，在瀋陽滿鐵借用地分設六大警備區，日僑也組織日勇千餘，劍拔弩張」。在內外交迫下，張作霖不得不表示離京。在日本迫使張作霖退回東北的時候，奉系內部的「新派」，為便於和蔣、閻妥協，也勸張作霖離京。張作霖在答覆中表示「東三省及京、津為中國領土，主權所在，不容漠視」，反對日本政府公然干涉中國內政。當時報刊報道說張作霖「有不得不出關的苦衷」：(一)張不離京，一切妥協和其他事均無從說起;(二)奉軍新派人物，均極盼張速去，以望與黨方合作「。同時，奉軍在軍事上節節失利，軍心早已動搖。

　　張學良、楊宇霆等亦「力勸老將回奉」。5月30日，張作霖召集張作相、孫傳芳、楊宇霆、張學良舉行會議，決定下總退卻令。6月1日下午，「邀外交團入府」，在懷仁堂與外交團告別。他在致詞中，以極悲痛的語句，向各國使團表示他的「討赤」立場。他說：「余為中國計世界計，始終矢志討赤，至保護外僑生命財產，即余在滿洲時......亦未嘗一日忘懷，今後仍然請各位放心。」6月2日，張作霖發表了「出關通電」，說明自己到北京「本為救國而來，今救國志願未償，決不忍窮兵黷武。爰整飭所部退出京師。」張作霖雖通電「退出京師」，但決不甘心放棄既得的統治地位。在離京前(6月1日)，他命許蘭州將「安國軍大元帥」的印、旗、國務院的印信、外交部的重要檔案全部運往關外，並下令「一切重要命令，仍須由大元帥蓋印發表」，夢想「在關外龐然自大，一過其大元帥之癮」，企圖有朝一日捲土重來。