桃林在溪水发源的地方就到头了，于是发现了一座山，山上有个小洞，洞里面隐隐约约好像有点光亮。渔人就离开船，从洞口进入。起初洞口很窄，仅容一人通过。渔人又走了几十步，突然变得开阔敞亮了。有平坦宽广的土地，房屋整整齐齐，肥沃的田地，美丽的池塘，桑树、竹林之类的景物。
田间小路互相交错相通，村落间能互相听到鸡鸣狗叫的声音。人们在村落间来来往往耕种劳作，男女的衣着打扮就像是桃花源外的人，老人和小孩，都怡然并自得其乐。
村里的人一见渔人，竟大为惊奇，问他是从哪里来的。渔人详细地回答了他们的问题。村里的人便邀请他到自己家里，摆酒杀鸡做饭款待他。村里人听说有这样的一个人，都来打听消息。
他们自己说他们的祖先为了躲避秦时的战乱，率领妻子，儿女和同乡的人来到这个与世人隔绝的地方，不再从这里出去了，与桃花源以外的人隔绝了。他们问渔人现在是什么朝代，他们竟然不知道有过汉朝，更不必说魏朝和晋朝了。
渔人把自己听到的事情一一详细地告诉桃源里的人，桃源里的人都感叹了起来。剩下的人又各自邀请渔人到他们家里，都拿出酒菜饭食来招待他。渔人停留了几天，便告辞离去。这里面的人告诉他说：“这里的事不值得对外面的人讲。”
渔人出来后，找到了他的船，就沿着先前的路回去，一路上处处标上记号。渔人到了武陵郡，便立即去拜见太守，渔人把这些情况作了禀报。太守立即派人随同他前往，寻找先前所做的记号，结果迷了路，再也找不到通向桃花源的路了。
南阳人刘子骥，是个品德高尚的人，听说了这件事，高兴地计划要去探访。但没有实现，不久生病死了。此后再也没有再问起这件事的人了。
由陶渊明这篇文章，后来就产生了“世外桃源”这个成语。“世外”就是超出人世以外；“桃源”就是桃林的尽头。“世外桃源”是说在人世之外的极为美好的地方。陶渊明描写的“世外桃源”是虚构的，现实社会中不可能存在，所以后来常用它来比喻理想中的生活安乐而环境优美的世界。也常用它比喻那种空想的、脱离现实生活的地方。
在一部浪漫传奇里，一个桃花盛开的地方，几乎寄托了中国人所有的梦想，无都市之喧嚣，无尘世之烦扰。传奇只留在纸上。但在中国桂林，沿桂花之路往阳朔，会有一个比桃花源更美、更真实的地方——世外桃源。烟雨，满山遍野的绿草、山花、溶洞、木楼，向往着一个民族高尚品质的风雨桥，和漂流在翠竹之隙的歌谣……
所有的欢乐和所有的艰辛都在这里，找到归宿。充满母性的世外桃源是桂林许多年前离家而去的女孩，如今回来，已长成如诗如画的少女……这是一个神奇的土地 这是一个充满魅力的地方有山、有洞、有小桥、有流水、有人家有赏心悦目的民俗风情有扯不断的情丝……
陶渊明所指的世外桃源又说是今天陕西省商洛市商山；也有说是庐山康王谷；还有说是湖南桃源洞（据统计，被疑为桃花源原形的地方多达十余处）
不仅中国有世外桃源，世界上很多地方都有着各自世外桃源的说法和传说。就比如是日本，它那里叫做kakurezato，传说在深山里或坟底处有一个世外桃源，人们在那里过着自由自在的生活。
据《萨潘旧传记》记载，有一个叫有马的萨摩武士，进入鹿笼山中，发现一个四周围着象屏风一样的石头的地方，他就一个人在里面住下。这里严冬无雪，黑夜有光。他仔细一看，发现这四周象象屏风一样的石头，竟然都是黄金。
据宫崎县日向的传说，从前当地人进入雾岛的山里时，有时能见到一个隐藏着的国家。那里有庭院，还有人打扫。树上挂着熟了的橘子，佳人来来往往，音乐声不绝于耳。但回来后再去看时，就怎么也找不到了。
在熊本县肥后，传说从前旧合志郡汕古闲的坟地一带住过仙家，留下了一口井，被称为仙井。据说现在在元旦日出时，从阿苏山顶远望，仍能看到一座美丽的庙宇在云霞中放光。世外桃源不仅仅传说是理想之乡，还有很多人从那里借东西的传说。
在千叶县印幡郡，一座大坟下有一个岩洞。造这个岩洞的石头不是当地之物，石头上贴着各种各样的碎贝壳。村里人把这岩洞称为世外桃源。据说从前住在洞中的人有许多好的家具，村里人家中来了客人，就可以去借。现在仍有人留着借来没还的器皿。该郡还有一个被称为世外桃源的岩洞，在面对水田的一个山崖中部，村里人曾去那里借过器皿。传说从前夜深时，从这个岩洞里层传出过捣米声。