，虽预谋摆脱了赤壁之战的干系，却也是万念俱焚，无处发泄的他，不由地仰天长叹：“我徐某，报国有心，却无力回天；不忠、不孝，枉为人臣。”满腹文韬武略的他眼睁睁地看着数十万兵士丧身火海而不能请缨解救，却行若无事，回想起少时“大丈夫处世，不能立功建业，不几与草木同腐”的誓言顿觉羞惭自秽，更无颜面见世人。
年轻时雄心万丈、豪气冲天，只想寻得明主，得以为国家运筹帷幄。不仅可以实现自己的远大抱负，为“寰区大定，海县清一”的理想竭尽自己的智慧，遏止住大汉的衰落，象古贤管仲、晏婴仁名垂于竹帛、德光施及草木。可是综观当时天下之势，已成鼎立，曹孟德虽败赤壁，却具天时。此人虽虚怀纳士，终是枭雄，争权夺利之徒，挟天子令诸侯，以百万将士之白骨，搭建自己通向权力顶峰的台阶，不能扶汉家之威，救黎民于战火涂炭之中。孙郎安居江东，占尽地理之利，亦虎视眈眈，难免兴战火之燎原。心灰意冷的徐庶，内心的悲酸只有自己明白。他百感交集，满脑子是退隐江湖、与世无争的念头，盼望着归隐山林、清风扫门、明月侍坐的时光。在曹『操』造好铜雀台待锁二乔时，正春风得意，此时的徐庶已易装、潜形，避开繁华闹市，一路出散关、绕长安、游嵩山、回颖川。拜泰山、走青州、访蓬莱、沿渤海湾畔寻访;踏上了秦始皇三次登台祭拜、刻碑颂德、求长生不老仙『药』的琅琊台。他拜祭了始皇帝、汉武帝均来琅琊祠过的四时主神，探访先祖徐福的足迹。徐福是齐乡方士代表和首领，而琅琊则是齐方士最集中的地区，有着众多的人数和实力。与徐福同时的方士首领，被后人尊为神仙的安期生即是“琅琊阜乡亭人”，曾与秦始皇“语三夜”。也许，徐庶是被琅琊的名气和众多的“神仙”吸引来，他也要到这里修炼成仙。
他刚登临泰山之顶领略一览众山小的豪气，又立足琅琊台感受秦始皇君临天下的英武。泰山虽高，然观日出，难见大海，而琅琊台观日则可目睹其从海底升腾之全景，更为壮丽。站在琅琊台上，放眼望去，汹涌澎湃的大海，无涯无际，朝夕晖阳，让人心旷神怡。脚下云遮日霭，水回天籁；鹤舞松涛之上，鹿呦涧水林阴，大珠山、小珠山、水灵山岛、斋堂岛（为秦始皇斋戒的小岛）环伺周边；观龙湾的白龙戏滩，海市蜃楼的时隐时现，这一切令他陶醉，使他忘却了战场的血雨腥风。
他到了与琅琊台隔海相临的大珠山。大珠山僻荒一域，怪石嶙峋，与海天相依。走兔飞乌，碧树成阴，松涛訇鸣，涧泉戏流水，白云舞清风。山上有峰状如帽子，曰帽子峰。峰下麓角入海。『潮』涌起处白雪横铺，蛟枭龟寿，渔礁存生。白帆孤影尽穷天际，一派仙家乐土，隐士圣地。他选择了帽子峰隐居下来。玉盘罩顶的帽子峰上，宽袖逸衫，剑影青锋。丹炉红光闪烁，香烟缭绕，风吼箫和。半仙之体的徐庶这时候已达到忘我的境界。随后的岁月里，乡民们经常见到一位仙姿道骨的长髯隐士穿行于胶南沿海一带。他就是厌倦战争的军事家、归隐帽子峰的社会活动家徐庶。据青岛市博物馆及青岛市社会科学研究所的考察，距离帽子峰不远的徐山(原属胶南，今为青岛市黄岛区)即因徐庶而得名。传说三国时，徐庶从大珠山经过这里，在西山的山洞中住过一夜，故将该山称为徐山，即徐庶之山。在牛王庙山西坡的石头上，有两段长数米的粗如茶杯、状如自行车辙印的石槽，当地人说这是徐庶当年推着独轮车经过时压下的车辙印。在徐山东坡有徐庶洞，数年前因采石而被人炸毁，现仅余一大石坑，约100平方米。
徐庶用那渊博的知识和过人的智慧帮助乡民。他知天文、晓地理，为渔民出海打鱼选择适当的气候时令。躲恶风、除蛟害，用他的岐黄之术为老百姓排忧解难。教农人采桑养蚕，耕种五谷，承平富庶。乡人有难无不倾心相助，他为当地老百姓做了大量的好事，同时也留下了很多有关他的传说故事，在胶南还有“徐庶不离帽子峰”之谚。在《灵山卫志》中就记载有徐庶在胶南活动的传说。他被乡人奉为神仙，传颂方圆数百里。若干年后，人们在大珠山帽子峰建起了徐庶庙，从此香火不断，供奉达到了狂热的程度，无事不求。过往渔民和胶南、胶州、诸城、高密等地的群众都来进香，十分敬重。象南方人出海前拜祭妈祖一样，此地人出海则是到徐庶庙叩拜。
约于二十世纪四十年代徐庶庙被毁，今庙基尚存。当地很多居民仍信奉着徐庶，每当出海远行必先到徐庶庙址祭拜徐庶，按时进香，“徐庶不离帽子峰”的传说在当地家喻户晓。每到正月初一至初五，人们便成群结队的到帽子峰祭拜他。正月爬帽子峰是胶南的一项独特习俗，在正月初一五更年夜饭后，附近的人们纷纷持灯笼，携鞭炮等，向帽子峰顶攀去，远远看去，像一条蜿蜒游动的火龙，极其壮观。《胡氏世说》云：灵山东北海中有鼓子洋。岛上有白耐冬花，大可拱把。好事者泛海致之，遇老人驾小舟至，芒履道服，貌甚古。问"小子何往？"以实对。叱曰："此非世俗间物，可留伴耐冬人耳。"又云："即墨有道学先生胡峄阳，为吾通一问讯。"言已不见。其人惊疑，遂反登筏。大风忽起，弃其所获乃已。后访胡峄阳，具道其事。胡怃然曰：此三国时徐庶也，隐居鼓子洋久矣
胶南帽子峰与三国徐庶
帽子峰，位于青岛胶南市大珠山南麓的鱼池村，是大珠山众多的险峰奇观之一，海拔223米。峰顶突兀险峻，隆起宽大，状似礼帽（也有的说因时常有白云萦绕，远眺象是戴着一顶帽子）故名帽子峰。帽子峰挺拔险峻，不易攀登。登上峰顶，顿觉腾空而立，心旷神怡。站在峰顶，东观灵山岛，西眺琅琊台，南望大海，北仰壁立千仞、姿态万千的大珠山。古人留下了这样一首诗：“乘胜攀登帽子峰，石礓高仰几千重。悬崖步履心盛怯，窄径崎岖足不容。东望灵山双奇秀，西偏琅琊四面峰。北接珠山通洞府，南临黄海有渔翁。湘子门前云霭霭，桃林村外水盈盈。”经考证，三国徐庶曾隐居胶南，早年帽子峰曾建有徐庶庙。庙宇呈正方形，四面各3.5米，高4米，飞檐斗拱，青瓦盖顶，是一座古朴典雅的建筑。庙内正面有泥塑徐庶像，正中是香案，墙壁绘有壁画，历代香火旺盛;庙外北侧有凉棚，相传是徐庶看书观海之处。庙宇早已坍塌，但其庙基尚清晰可见。凉棚处仍保留着几处立顶柱的柱洞。徐庶隐居胶南沿海一带时，曾利用自己的聪明才智为当地渔民做了许多好事。为了纪念他，人们在帽子峰上建起徐庶庙。现在，虽然徐庶庙已坍塌，但当地人们仍对帽子峰有特殊的感情，帽子峰上一直香火不断。每逢三月三、九月九，渔民们便登峰祈祷。每到过年，附近村庄人们带上供品，到此燃放鞭炮，怀念徐庶，祈祷岁岁平安。
咏鼓子洋白耐冬花（清·赵法宪胶州人）
皭然冰雪姿，遗世而独立。
亭亭空谷中，寒威不能蚀。
烟岚伴其幽，玉石贞其德。
霜月满林皋，点缀乾坤『色』。
有客海上来，疑是徐元直。
云际落天表，可望不可即。
注：鼓子洋即灵山岛附近的一座小岛。清朝当地诗人在写景时将徐元直（即徐庶）信手写入诗中，可见徐庶隐居并活动于胶南一带的传说久已有之，且广为流传。
徐庶字：元直籍贯：豫州颍川郡（今河南许昌一带）官职：右中郎将御史中丞历史年表：徐庶原名徐福，本是寒微人家的孩子。（注：《魏略》原文“庶先名福，本单家子”，有人将其解释成徐庶原为姓单人家的孩子，不过目前主流说法将“单家”解释成背景单薄、出身寒微的人家，故有了如本文的解释。）徐庶年少时爱好任侠击剑，曾于东汉中平末年(189年左右)为人报仇，脸上涂上白垩，披发逃走，被官吏抓获。官吏问他姓名，他不回答，于是官吏将他绑到车上，击鼓行于市，认识他的人也不敢说。后来，徐庶的同伴一起来解救他，得以逃脱。徐庶感慨获救，从此弃刀戟，换上疏巾单衣，折节向学。开始拜访学堂之时，诸位学生听说他以前作过贼，都不与他接近。徐庶于是摆出卑躬的态度，常早起独自扫除，从而得以听课，通晓义理。他与同郡的石韬交好。东汉初平年间(190年－193年)，中原地区开始战『乱』，徐庶和石韬一起南行，客居荆州。到达荆州后，徐庶与诸葛亮、司马徽、庞统等人相友善。刘备屯于新野期间，徐庶去见刘备，被刘备所器重。后经徐庶的推荐，刘备得到了诸葛亮。208年，曹『操』南征，刘备于长坂兵败，徐庶的母亲被曹军抓获。徐庶向刘备告辞，指着自己的心说：“本欲与将军共图王霸之业，就是靠这方寸之地。如今已失老母，方寸『乱』了，无益于事，请从此别。”于是刘备同意徐庶离开，徐庶和石韬向北投降了曹『操』。魏黄初年间(220年－226年)，徐庶在魏国官至右中郎将、御史中丞。魏太和年间(227年－233年)后，徐庶病逝，留有碑在彭城。历史评价：诸葛亮：1夫参署者，集众思广忠益也。若远小嫌，难相违覆，旷阙损矣。违覆而得中，犹弃弊蹻而获珠玉。然人心苦不能尽，惟徐元直处兹不『惑』。2昔初交州平，屡闻得失，后交元直，勤见启诲。