时。但如想要诛天下之贼，扶王室之微，使天下智士望风归附，纷纷响应，共同平息暴乱，除天时、地利外，还要靠人和。如果这三条同时具备不是可战无不胜吗？但如对百姓没什么恩德，任用的又不是贤能的人才，那么定将自取灭亡，怎谈得上匡扶朝廷，树立功名啊！你说是不是这个道理？”接着常林就把叔父被关押的情况说了一遍，胡母彪立即写信责备王匡，王匡就把常林的叔父给放了，常林于是迁到上党避乱，在山中耕种。
当时正逢旱灾，当地只有常林家获得丰收，于是他把周围的邻居都叫来，把自己的粮食整升整斗地分给他们。常林住的地方紧挨着已故河间太守陈延家的围墙。陈冯二姓都是官宦旧族。张杨企图霸占这两家的妇女和财产，常林就为陈冯两家出谋划策，两家在被围困了六十多天后终于保全了性命和财产。并州刺史高干上表荐常林为骑都尉，常林婉言谢绝，后刺史梁习又举荐州内的名士常林以及杨俊、王腸、王象、荀纬，太祖曹操任命他们都当上了县令。常林任南和县令，治理有方，卓有成效，因而提升为博陵太守、幽州刺史。所在之处，政绩斐然。文帝曹丕官居五官中郎将时，常林担任功曹。太祖曹操西征时，田银、苏伯乘机反叛朝廷，幽州、冀州动荡不安。曹丕想亲自带兵去讨伐他们，常林说：“我曾任职博陵、幽州，对于贼寇的情况，是可以猜测推断的。
北方的官吏百姓，崇尚和平安定，厌恶战乱，受教化已久，安分守己的占绝大多数。田银、苏伯乃乌合之众，阴谋虽大但才智不足，难成大患。如今我军主力远离京师，外面又有强敌，将军在此坐镇天下，如轻易出兵远征，即便取胜也不算大智大勇。”曹丕点头称是，便派手下将官前去讨伐，果真不费吹灰之力就把叛军消灭了。常林以后出任平原太守、魏郡东部都尉，后又担任丞相府的东曹。魏国建立以后，被授予尚书。曹丕称帝后，他被提升为少府，封为乐阳亭侯，后又转任大司农。明帝曹睿即位后，常林被晋封高阳乡侯，升光禄勋太常。司马懿因常林是同乡中德高望重的长辈，每每遇到他便跪拜行礼。有人就对常林说：“司马懿地位高，权力大，你应该阻止他向你跪拜行礼才是。”常林说：“司马懿自己愿意诚恳地叙行长幼之礼，以此为年轻人树立榜样。地位高贵并非我所惧，对我跪拜也无需要我制止。”说话的那人恭敬而面带愧色地走了。当时朝臣们都认为常林节操清峻，想要推他列入三公。但常林却称病谢绝了。以后他又被授予光禄大夫。八十三岁那年，常林去世，被追赠为骠骑将军，朝廷像对待公爵那样为他举行了葬礼，谥号贞
