龙升福建按察使离湖北时，依然一捆行囊，两袖清风，沿途以萝卜为干粮。
于成龙在福建上任伊始，当时，清廷为对付台湾郑氏的抗清势力，实行了“海禁”。当地统治者不顾连年兵祸，民不聊生，动辄借机搜刮百姓，沿海一代民怨沸腾。1679年夏，于成龙升任福建省布政使。福建巡抚吴光祚专疏向朝廷举荐，称于成龙为“闽省廉能第一”，1680年春，康熙帝“特简”于成龙为畿辅直隶巡抚，翌年春，又召见于成龙于紫禁城，当面褒赞他为“今时清官第一”，并“制诗一章”表赐白银、御马以“嘉其廉能”。未逾两年，又出任为总制两江总督。身为“治官之官”，于成龙把整顿吏治放在首位。他从中秋节向他行贿的官员开刀，惩一儆百，很快改变了福建吏治腐败的现象；对廉洁有为的人材，于成龙屡屡上疏，极力推荐；为贫苦士子仕途，他在各地兴办学堂，倡导绅仕捐资的方式兴办“义学”，鼓励徭、壮子弟入学。
于成龙官越升越高，生活却更加艰苦。他“屑糠杂米为粥，与同仆共吃”：“日食粗粝一盂，粥糜一匙，侑以青菜，终年不知肉味。”百姓亲切地称他“于青菜”。他天南地北，宦海20余年，只身天涯，不带家眷，和结发妻阔别20年后才得一见。于成龙告老还乡时，他的车上装了许多坛坛罐罐。他说，他每到一个地方为官总要“刮些地皮”，做为日后的纪念。他刮的是他乡土地上的一把泥土啊！他带回来的是对他乡人民的深厚情谊！与贪官污吏们搜刮的民脂民膏，带走老百姓的血汗相去甚远。
于成龙逝世后，南京“士民男女无少长，皆巷哭罢市。持香楮至者日数万人。下至莱庸负贩，色目、番僧也伏地哭”，康熙帝破例亲为撰写碑文，对他廉洁刻苦的一生进行了表彰。