时常击破寇盗，州界清静，政化大行。当时的人作歌颂赞道：“海沂之康，实赖王祥。邦国不空，别驾之功。”后来王祥举了秀才，一路升迁到保管租税、钱榖、盐铁、“大司农”。
高贵乡公曹髦即位，王祥封“关内侯”，拜九卿之一的“光禄勋”，掌管宫内诸事，又转任“司隶校尉”，也就是京城保安官。王祥参加讨伐毌丘俭叛乱有功，再升九卿中掌管礼乐社稷、宗庙礼仪的“太常”，封“万岁亭侯”。由于王祥德高望重，高贵乡公曹髦又任名王祥为“三老”之一。王祥持杖面南，以师道而居，陈述圣王明君、君臣政化的要旨，既是天子也要面北请教，在座的人莫不砥砺精进。
公元260年，皇帝高贵乡公曹髦被杀，王祥痛哭流涕，众人面有惭色。不久后，王祥官拜掌管水土、营建工程，三公之一的“司空”，263年十二月，又转任全国最高军事长官，相当于大司马的“太尉”，加掌管拾遗补缺、赞导、陪乘、出而负玺以及照料皇帝日常生活等事的“侍中”，封“睢陵侯”，食邑一千六百户。王祥身居高官，却“高洁清素，家无宅宇”。 为官期间，勤于职守，德高望重。他与其弟王览，一个以“孝”著称，一个以“悌”名显，成为“孝友”之家。后世之人将其编入《二十四孝》，以教育后人，弘扬中华民族的传统美德。