2日，中央军委正式颁布了任命肖劲光为中国人民解放军海军司令员的命令，并电令：为了统一管理指挥各地人民海军及现有舰艇，允许由原兵团 直属队抽调部分机构、干部，作为海军直属机构的基础。此时，解放战争虽已基本结束，但东南沿海的岛屿尚未解放，刚刚组建的人民海军，不但要同敌人的骚扰破坏进行频繁的斗争，而且还担负着解放沿海岛屿、准备解放台湾的作战任务。朝鲜战争爆发后，美国出兵朝鲜，并派第七舰队武装侵占我国领土台湾，我国沿海形势紧张，海军不但要随时准备粉碎来自东南沿海美蒋反动派的侵袭，还要严密监视朝鲜战争的发展局势，警惕来自北部海域的侵略，保卫祖国首都的安全。在这种严峻的客观形势下，只能一边打仗一边建设。 1950年4月14日，在协和医院礼堂召开了海军领导机关成立大会，宣布成立海军司令部、政治部、卫生部。肖劲光在大会上阐述了海军建设的方针、任务、有利条件以及如何从思想上作风上进行建设等问题。后勤部在青岛成立后，迁入北京。
建设一支什么样的海军和如何建设海军，这是肖劲光上任伊始所面临的一个重大课题。1950年8月，肖劲光主持召开了海军建军会议，为海军建设制定了明确而具体的方针，即建设一支现代化的具有攻防力的精干的轻型海军力量；制定了海军建设的组织路线，即在共产党的统一领导之下，以工农为骨干，以解放军为基础，吸收大量革命的青年知识分子和科学技术人员，争取团结和改造原海军人员，建设人民的海军；制定了海军三年建设计划。在党中央、中央军委领导下，他和其他领导一起，克服了经费紧张、人才匮乏、经验不足等重重困难，在较短的时间内完成了海军创建任务，初步形成了海上防御体系。从当时的实际情况出发，着力建设一支现代化的、富于攻防力的、近海的、轻型的海上战斗力量。以政治思想、组织和技术三个“桩子”，打好海军建设的基础。并重视培养海军技术力量，积极创办学校，兼任第1海军学校校长。提出部队训练“必须与海军的作战任务和日常战斗活动相结合”的指导方针。
1954年，肖劲光任国防部副部长。1955年被授予大将军衔和一级八一勋章、一级独立自由勋章、一级解放勋章。1957年根据积极防御的战略总方针和海军的任务，提出并逐步完善开展海上破袭游击战的作战理论和依托岛岸、协同作战的防御作战原则。1965年领导编制了海军装备科研的第三个五年计划，大力推动新型武器装备的研制和生产。1973年向中共中央、中央军委提出关于海军装备建设问题的建议，指出海军建设应在加强近海防御能力的同时，适时地、积极地发展中、远海的作战力量，推动了海军的建设和发展。1974年8月1日主持了第一艘核潜艇的交接仪式。
实际上，从1962年开始，肖劲光就开始受到林彪的打击，被横加了“四个第一不是当作第一，而是变为四个第二”、“单纯军事观点”、“反对突出政治”等罪名，文化大革命中，在林彪及其死党李作鹏等人的打击陷害下，遭到错误批判，被剥夺了主持海军工作的权力。1971年“9・13”事件后，他重新主持海军工作，积极解放“文革”中受迫害的干部，致力于海军各项工作的振兴和发展。他在党的九届一中全会选举中央政治局委员时断然不投**、叶群、李作鹏、邱会作、吴法宪、王洪文、***、***等人的票。1976年9、10月间，他两次找叶剑英，谈对粉碎“***”的重要建议。他坚决主张为“*****”平反，主张德高望重的老同志重新出来工作。他衷心拥护党的十一届三中全会以来的路线、方针、政策。遭到了**集团的打击迫害，被诬蔑为“上了林彪贼船”，身心受到严重摧残。1979年，在***、叶剑英、陈云等同志的关怀下，中共中央对肖劲光同志受到的政治诬陷给予彻底平反。是第一、第二、第三届国防委员会委员。1979年6月当选为第五届全国人大常委会副委员长。是中共第七届中央候补委员，第八至第十一届中央委员。1982、1985年当选为中共中央顾问委员会常务委员。1989年3月29日,萧劲光在北京病逝。著作有《萧劲光回忆录》
在近70年的革命生涯中，萧劲光经历了无数艰险，但他忠于党，忠于人民，具有坚定的共产主义信念和百折不挠的斗争精神。他铮铮铁骨，丹丹忠心，他历尽艰辛，百折不挠，他勇于开拓，鞠躬尽瘁，为中国人民的解放事业和社会主义建设事业做出了杰出的贡献，特别是在人民海军的建设上，他认真学习研究毛泽东的战略战术思想，借鉴中外海战的历史经验，并到舰艇部队和海防前线调查研究，进一步完善海军作战指导思想。他为人民海军从无到有，从小到大，成长为一支具有相当规模的海上战斗力量，为人民海军的创建和发展壮大建立了不朽的功勋。他的逝世，是我党我军的重大损失。