海瑞在福建南平縣擔任教谕，主要職責是管理縣學。教谕沒有級別，但海瑞如魚得水。對縣學的生員們嚴格管理，學生們稱他爲“海閻王”。

海瑞最大的優點是從來不收受學生的賄賂，公道正派，不阿谀逢迎上司，學生們既怕他又敬重他。

一次，延平知府來縣學視察，其他人見到知府後趕緊下跪，海瑞則不然，昂首挺胸，站立一旁。他認爲，管理教學的官員見了上司不需要下跪。知府很不高興，卻又無可奈何，給海瑞起了筆架山這個綽號。

過了不久，朝廷下派巡按禦史來地方視察，總督、巡撫和知府等地方大員一路陪同，到了南平縣。南平知縣率大小縣吏出城下跪相迎，唯有海瑞鶴立雞群地站立。禦史不好發作，拂袖而去，總督、巡撫和知府好不難堪，知縣大罵海瑞，他毫不在意，名聲大噪。

海瑞無欲則剛，他不想升官，也不想發財，一心管理縣學。嘉靖三十七年，徐階提拔四十五歲的海瑞爲浙江淳安知縣，連升了六級。他到淳安縣之後，延續在南平的做法，嚴厲整頓吏治，約束部下，爲民申冤，廢除了二百年灰色收入的慣例，全縣官吏僅靠那點微薄的薪水生活，消極怠工。海瑞全然不顧，穿著破舊的官服訪貧問苦，在縣衙裏斷案，吃自己種的蔬菜，日子清苦，但悠然自得，認爲是自己職責所在。看到知縣大人這樣做表率，縣吏們只好跟著艱苦奮鬥。淳安百姓的生活明顯好轉，幸福指數大大提升。

海瑞善待百姓，對作威作福的官家子弟疾惡如仇。浙江總督胡宗憲的兒子四處遊蕩，嫌淳安驿站生活差，打罵驿吏。海瑞令人沒收了胡衙內的金銀，將他痛打一頓，並送到胡宗憲那裏，說竟然有人冒充胡衙內到處惹是生非，辱沒了大人的名聲，特送來發落，讓胡宗憲有苦難言，胡宗憲只好說海瑞做的對。