這個成語的出處在《舊唐書·長孫無忌傳》，原文是這樣的：「 褚遂良學問稍長，性亦堅正，既寫忠誠，甚親附於朕，譬如飛鳥依人，自加憐愛。」

　　當年，褚遂良是唐朝著名書法家，他的書法博采眾長，變化多姿，自成一家。因為精通書法，被魏征推薦給唐太宗，並受到太宗的賞識。

　　唐太宗任命褚遂良擔任起居郎一職，專門記載皇帝的言行起居。有一次，唐太宗問褚遂良：「你每天記載我的言行起居，我可以看看嗎?」 褚遂良回答說：「如今設立起居郎的職務，如同古代的史官，善行惡行 都要記錄在案，以督促皇帝不犯錯。我從未聽說皇帝本人要看這些內容的。」唐太宗又問道：「如果我有不好的言論、行為，你也要記下來嗎?」褚遂良回答說：這是我的職責所在，您的一言一行，我都要記下來。」

　　不久之後，唐太宗對長孫無忌說：「我今天要當面評論你們的功過得失，引以為鑒，使你們警惕。說者沒有過錯，聽者自己改過。」說完他就看著長孫無忌說：「你善於避嫌、隨機應變，但是領兵打仗不是你的長項。高士廉博覽群書，悟性很高，臨危受難不變節，做官也不拉幫結派，但是缺少直諫的勇氣。」唐太宗將朝中大臣評論一番，最後說到了褚遂良。唐太宗就說了本文開篇的那段話，用現在白話說的意思就是：

　　「褚遂良在學問方面大有長進，性格很剛直，對朝廷忠心，對我很有感情，平時一副飛鳥依人的模樣，我很是憐愛他啊!」小鳥依人成語由此而得。