1949年12月，蔣介石退守台灣前，派自己的心腹陳誠接任「台灣省主席」。1950年3月，蔣介石在台灣正式恢復了「總統」的職務。不久，陳誠接替閻錫山成為「國民政府」的「行政院長」。1958年，陳誠在台灣身兼「副總統」「副總裁」和「行政院長」三要職，成為國民黨「二號人物」。

　　在晚年，看似「恩深骨肉」的蔣陳，開始出現隔閡。1963年，因為「反攻大陸」的計畫，陳誠與蔣介石發生了很大的衝突。陳誠對蔣介石說，一旦反攻的號角響起，他仍會請命出征，但他不同意貿然地「反攻」。陳誠晚年與蔣氏父子的關係，外界傳得撲朔迷離。有人說，蔣介石在台灣的最後一步棋，就是讓他的後代統領大政。雖然陳誠盡可能提攜、幫助蔣經國，但對兩蔣的工作作風仍不能認同，甚至出現抵制。蔣介石對陳誠的忠心是不懷疑的，可要是影響到蔣經國的接班，那就另當別論。陳誠心知肚明，決心辭去「行政院長」之職。

　　1965年3月，陳誠病危，他招來長子陳履安代筆口授遺言：第一，希望同志們一心一德，在總裁領導下，完成國民革命大業。第二，不要消極，地不分東西南北，人不分男女老幼，「全國」軍民，共此患難。第三，黨存俱存，務求內部團結，前途大有可為。

　　這65字遺言，思路清晰，內容完整，是他對人們提出的要求，也是對自己一生經驗的總結。然而，人們不難發現，遺囑中並未出現「反共」或者「反攻」這類詞語。遺言發表前，有人想要在陳誠的遺言中加上「反共、反攻」一類的內容，陳誠夫人譚祥不同意。她找到蔣介石，蔣介石同意不修改。

　　1965年3月5日，陳誠因肝癌病逝。蔣介石下令全體軍政機關、部隊、學校、團體等下半旗志哀。公祭及殯葬之日，「國防部」下令三軍為陳誠服喪。