在貪腐成風的清朝，做個清官實在不容易，而清官做到于成龍的地步，更是難上加難。
支撐于成龍爲官之路的是和親友道別時，“天理良心”四字的虔誠和立德修德、爲民造福的信念。在任上，于成龍身體力行，克服困難，招撫盜賊，力行教化，使羅城境內狀況出現了好轉，羅城安定了下來。治理成功，體現了于成龍的政治能力，同時得到了上司的重視，爲自己的宦海生涯開了一個好頭。
于成龍出身農家，家産尚可維持生計。而傳說的廣西蠻煙瘴雨，北方人不服水土，十有八九不能生還。爲此，親友們一聽說委任他爲羅城知縣，大都勸他不要去。但他認爲：我已立意修德，爲民造福，哪能知難而退？于是，變賣了部分家産，湊足路費，告別父老，留下妻兒，獨自帶著3位仆人，毅然登上了南下的路。
于成龍到達羅城後，只見那兒的環境比想象中的更惡劣：四面群山環繞，到處河流縱橫，數裏之內不見人煙。所謂的縣城，沒有城池街道，只有幾處茅廬，住著數戶人家。至于縣衙，也無門牆，而是“插籬棘爲門牖”。院內只有3間草屋，東邊算是賓館，西邊是書吏舍，到處長滿了荒草，即便大白天也常有野猴鑽來嬉戲。于成龍見此情狀，心中不免有些淒苦，但他抱著“既來之，則安之”的想法，親自“累土爲幾案”，又在柱子下支鍋、鋪床，開始了艱難的宦海生涯。
在于成龍到達羅城之初，當地還常有盜賊出沒。他爲防不測，晚上睡覺時，總在枕旁放把刀。但他認爲：地方上的盜賊，大都是些窮百姓。他們本來不願爲盜，只是饑寒刑罰所迫，才淪爲盜賊。所以，他主張“勿戕民命”，“勿剝民膚”，而應該多方招撫。基于此，他采取了一系列有效措施，很快便使不少人改邪歸正。與此同時，他還常常光著頭，赤著腳，穿著普通百姓的服裝，深入到附近居民中，同他們一起勞動，一起聊天，相機幫他們解決一些實際困難，並通過他們向更多的人宣傳自己的施政要領。百姓們見這位“縣太爺”如此平易近人，都親切地稱他爲“阿爺”，樂于向他說些心裏話。爲時不久，因多年戰亂和盜賊滋擾而外逃的百姓紛紛返回故裏，競相開荒種田，逐漸恢複和發展了生産。
于成龍十分珍視這一好的勢頭。每逢農忙，他都到田野四處巡視。遇到辛勤耕作的百姓，主動向前打招呼，進行慰問。一季下來，他見誰家收獲豐盛，就命人在其門外樹立標志以示表彰；對那些因懶惰而使田園荒蕪者，就動員各方面力量給他做工作，幫他們改過自新。
幾年之後，羅城嘉禾遍野，牛羊滿山。百姓們不但不愁衣食，不少人家還蓋起了新房。然而，于成龍從山西老家帶來的那3位仆人，卻有的病死，有的逃跑，只剩下他孤零零一個人。對此，他無怨無悔，一如當初。
于成龍在任羅城知縣時，幾乎天天喝粥，菜肴也只是一盤豆，一碟青菜。百姓們基于自家生活的好轉，又見他的仆人們全都離他而去，十分不忍，幾乎天天有人前去看望他，還不時地給他帶些錢物。對此，他總是先道謝，再推辭。他說：“我一個人在此，用不了多少錢。請你們拿回去買些可口的食物侍奉你們的父母，就如同送我一般。”
有一次，于成龍的長子千裏迢迢來看他，他十分高興，空前地買來一只鴨，煮了半只拿給兒子吃，另半只腌了挂起來，留待過年用。待兒子回家時，百姓們爭先恐後地湊了好多錢，執意送給于公子。于成龍又一再表示：“這兒離我家6000裏，一個人帶著錢，可是累贅啊！”說罷，堅決把錢退回去。百姓們感動得淚流滿面，紛紛向他下跪叩首，他也禁不住流下了熱淚。
曆史上所謂一張一弛的王者之道，都是采用軟硬兼施的措施，如果一個朝廷只注重嚴厲打擊，而不注重教化，那麽人民將會惶恐不安，激而生變。軟硬兩方面，任何一個走向極端，都不利于社會的良性循環發展。于成龍“寬嚴並治”，他一方面打擊擾亂社會安甯的不法分子，一方面施行教化，招撫馴服案犯。他慎刑施教的主張穩定了清王朝的統治，維護了社會安甯。值得後人借鑒。
于成龍的刑法思想在清朝很有影響。對待案犯，他主張慎刑，以教爲主，采取“寬嚴並濟”和“以盜治盜”的方法，取得突出效果。康熙8年(公元1669年），于成龍再次因政績卓著而遷任湖廣黃州府同知，駐于岐亭地方。岐亭地處黃州、麻城邊界，多湖汊溝壑，向爲盜賊之淵薮。這些盜賊肆行無忌，甚至白晝行劫，地方官吏也束手無策。于成龍到任後，很快摸清了他們的出沒行蹤，一舉降服其魁首彭百齡等人，將其置于左右，實行“以盜捕盜”之策略。有一次，于成龍生擒9人，召集鄉裏父老，宣布說：“這些都是巨盜，他們仗著被捕後解送上級官府可以揭發當地官吏的隱私，而有恃無恐，往往得以逃脫懲治。我現在將他們示衆于父老面前，你們有能保證其今後不再爲盜的，我就當衆釋放；否則的話我就將盡法懲治。”衆父老出面爲其中2人作了擔保，而其余7人則當著衆父老的面被嚴懲。消息傳開，“盜自是驚匿”。
康熙17年（公元1678年）6月，于成龍升任福建按察使。當時的福建正值耿精忠之亂，台灣的鄭經也時常兵犯漳、泉等郡，局勢動蕩，連年用兵，又連興大獄，“民以通海獲罪，株連數千人”。于成龍說：此事關系到衆多百姓身家性命，是人命關天的大事，難道因爲大獄已成，就可以不必審慎地複核了嗎？經其詳查，通海案所牽連的多半爲無辜平民，應予省釋。他立即禀告當時主管兵事的康親王傑書，將關押之民盡行釋放。每遇疑案，他必令詳細審訊、反複核查，務期明允。經他清理，案無沉積，獄無淹滯，“所生全以千計”。福建巡撫吳興祚上奏朝廷說：“成龍執法決獄，不徇情面，屢伸冤獄，案牍無停。不濫置一詞，不輕差一役……屏絕所屬饋送，性甘淡泊，吏畏民懷，爲閩省廉能第一。”
于成龍在詞訟、斷獄方面被看做是包公式的人物。他鐵面無私，頭腦敏銳而細心，善于從一些常人忽視的細節上發現問題的症結。他處理過許多地方上發生的重大疑案、懸案，使錯案得到平反，因而被百姓呼爲“于青天”，民間還流傳著“鬼有冤枉也來伸”的歌謠。于成龍在破案、察盜方面的許多事迹，在清人野史、筆記和民間文藝中均得到反映，甚至神化。
從于成龍身上我們可以窺出當時的政治局勢。于成龍的造福百姓、崇尚節儉、奉行教化，和康熙推行的治國之策相吻合，康熙渴望吏治的清明，于龍成的舉薦應合了康熙王朝良好的政治環境。康熙盛世的出現離不開于成龍等衆多廉吏的貢獻。
于成龍對清代官場吏治的腐敗有清醒的認識，因而總是盡自己的所能逐項予以革除。康熙19年，于成龍升任直隸巡撫，嚴戒州縣官私加火耗銀饋送上官。所謂火耗銀是指自明代起，官府將從民間征收賦稅所得之細碎銀兩重新熔鑄爲一定重量的銀錠，上繳國庫，把熔鑄時的損耗部分稱爲火耗銀，由納稅者承擔。清代沿之。清初有的地方火耗高達正賦的50%，甚至將解運往返之費也攤入其中。這些費用主要用于官吏“分肥”和饋送上官。于成龍爲此特地頒布了一個《嚴禁火耗谕》，嚴禁額外多收火耗，並且質問那些貪得無厭的官員：“民力難支，又安忍于正供之外，敲鸠形鹄面之骨，吸賣兒鬻女之髓，遂一身一家之欲！”12月，懲處了私自多收火耗、侵吞赈災銀兩的青縣知縣趙履謙。他還經常單騎私訪，遇有不法者則立予嚴懲。從此，“盜以息，民以安”，“滹沱、易水之間，洋洋乎頌聲作矣”。
康熙20年（公元1681年）12月，康熙考慮到江南爲財賦重地，必得清廉能臣前往料理，方能澄清吏治、有益民生，遂特旨授予成龍兩江總督。于成龍對好友說：“江左承八代之余，習尚浮靡，奸弊牢不可破。天子命我，我必思所以易之。”江南人聽說“于青天”將至，心甚畏之。那些曆來習尚奢侈的世家大族都“減輿從，毀丹垩，婚嫁不用音樂”。民間人人爭穿布衣，布價因之驟貴。貪墨之吏紛紛落職而去，豪強猾胥率家遠避。
于成龍深知“州縣各官厲民積弊，處處皆然，而江南尤甚”，爲痛加革除，乃手定《示親民官自省六戒》，提出了勤撫恤、慎刑法、絕賄賂、杜私派、嚴征收、崇節儉這六條戒律，使州縣基層官員“朝夕觀省，自爲猛惕”，並要求他們“雖自己足食，當思民之無食者；自己披衣，亦當思民之無衣者”，若“無功于國，無德于民”而終日華衣美食，則雖身居官長，實與盜賊無異。緊接著，他又頒布了《興利除弊條約》，要求各級官員“盡行痛革”種種積弊：嚴禁濫加火耗和私派，嚴禁饋送，訪拿衙蠹和地痞、流氓，嚴禁濫差衙門差役，嚴禁隨便捕人入獄和私刑拷問，嚴禁包攬詞訟、牟取奸利，禁止向行戶攤派取索，禁止奢靡逸遊，等等。于成龍以身作則，嚴正聲明：“本部院下車，清介自持，誓不受屬員一毫饋送。爾司道廳府州縣，務期共相砥砺，痛絕饋送。”
江南大省，政務繁多，于成龍寢食爲廢。總督衙門重門洞開，禀事官員可以直入其寢室，毫無阻擋。他還時常輕車簡從，走訪民間，問詢疾苦，察吏安民。行爲不端之人，“遇白須偉貌者，群相指自懾”，頗感膽戰心驚。幾個月間，興利除弊，政化大行。
于成龍爲官20余年，多次向朝廷舉薦賢能官員，如：通州知州龍舜琴，經他薦舉得升補江甯知府；江蘇布政使丁思孔“曆任既久，參罰因多”，于成龍疏請康熙在其入觐時“親賜咨訪，破格擢用”。丁思孔因得“准爲卓異”，不久擢升偏沅巡撫。
康熙二十三年（1684年）四月，于成龍嘔吐不食，同月十八日（5月31日）在兩江總督任上病逝，終年六十八歲。康熙帝破例親爲撰寫碑文，賜祭葬，贈官太子太保，谥號“清端”。
按照清朝官員的定谥規定：一品大臣過世，按例請皇帝決定是否授谥；一品以下官員除非特旨，例不授谥。于成龍生前的最高官職爲正二品總督，照例不予谥號。可盡管如此，康熙皇帝還是欽定了“清端”這種等級極高的谥號。“清”者，“清廉奉公”也；“端”者，“聖修式化”、“嚴恭莅下”、“恭己有容”、“秉心貞靜”、“守禮自重”者。有清一朝，僅康熙朝出現過6位“清端”谥號之臣，個個都是“近乎完人”的所在。于成龍能此等谥號，可見康熙皇帝對其的贊賞程度。
雍正年間，于成龍入祀賢良祠。乾隆帝即位後，分別于乾隆十六年（1751年）、乾隆二十二年（1757年）、乾隆三十年（1765年）、乾隆四十五年（1780年）及乾隆四十九年（1784年）五次遣使祭奠于成龍祠。
