同时也深知‘伴君如伴虎‘的道理。因此，他在功成名就之后，毅然选择激流勇退，于洪武四年(1371年)主动辞去一切职务，告老还乡，回青田隐居起来。
刘伯温在青田过了2年的隐居生活，本来希望远离世间是非争夺。但是，他的智慧和才能实在太高，他的名声实在太大了，他甚至被民间百姓渲染成了一位活神仙般的人物，这就无法避免政敌的嫉妒和皇帝的猜疑。洪武六年(1373年)，刘伯温的政敌胡惟庸当了左丞相，指使别人诬告刘伯温，说他想霸占一块名叫‘茗洋‘的‘有王气‘的土地做自己的坟墓，图谋不轨。早就对刘伯温放心不下的朱元璋，听到诬告后果然剥夺了刘伯温的封禄。刘伯温非常惶恐，于是亲自上南京向朱元璋谢罪，并留在南京不敢回来。后来，胡惟庸升任右丞相，刘伯温更加忧虑，终于一病不起。
洪武八年(1375年)，有病在身的刘伯温由皇帝朱元瘴所派使者护送回家，不久在家忧愤而死，终年65岁。后来被谥为‘文成‘。刘伯温在南京时，胡惟庸曾派太医为刘伯温诊病送『药』，但刘伯温吃了他的『药』后，病情加剧。因此，当时人们怀疑刘伯温是胡惟庸下毒致死。
刘伯温不但是一位谋略大师，也是一位著名的学者和文人，他的著作很多，流传于世的有《郁离子》10卷和《诚意伯文集》20卷。其中。代表作《郁离子》一书在中国思想上和文学史上都占有重要地位。
刘伯温死后，葬于青田武阳夏山。据说，刘伯温死前曾预言胡惟庸必败，到时朱元璋会为自己平反昭雪，他还特留下一封密奏给儿子，要他在日后朱元璋想起自己的时候再上奏。5年后，胡惟庸果然垮台。又10年后，刘伯温果然被平反。朱元璋还赐给刘氏家族金书铁券，特批刘氏成员可凭此免一次死罪。