建安三年（198），吕布破败，曹操入主徐州，辟陈群为司空西曹掾属。有人推荐王模、周逵二人，曹操下文授职。陈群知道二人品德败坏，不可任用，就把曹操关于征辟二人的命令封好退回，陈述了自己的意见，曹操不听。后来，王、周二人为非作歹，犯下罪行，曹操便向陈群赔礼致歉。当时，陈群也推荐了两人，一个戴乾，后来为国尽忠而死；一个陈矫，成了一代名臣。于是，陈群获得有知人之明的好评。此后，他先后任萧（今安徽萧县）、赞（今河南永城）、长平（今河南西华）等县县令。次年六月，其父亡故，便辞官归家守丧。丧事办完，被授以司徒掾，后又升任治书侍御史，又转为参丞相军事，做了曹操的高级幕僚。建安十八年（213），曹操封魏公，陈群升任御史中丞，成了执掌奏劾不法的大臣。
曹操打算恢复肉刑，他让群臣讨论，并问陈群：“过去，你父亲认为死刑也可以体现仁慈和恩典，那意思是不是说，肉刑可以恢复呢？”肉刑是古代的刑罚，包括黥面、割鼻、斩足、宫刑等。汉文帝十三年（前167），下令废除，代以笞刑，即用杖策鞭打数百来代替。例如：当斩左脚的，鞭杖五百，当割鼻的，鞭杖三百。结果，犯人往往被打死。所以，陈群回答说：“汉代废除肉刑而增加鞭杖，本是心怀仁慈、同情犯人而为，不料，这样死的犯人更多。臣父认为这是名轻而实重的做法。名义上减轻了处罚，容易使人犯罪；而实际上处罚又加重，伤害的人更多。古代制定肉刑，是用来辅佐治国，协助施行教化的，为什么不可恢复一部分？如今用笞死犯人之法来代替肉刑，是看重人的肢体而轻视人的性命，有什么好处呢？”钟繇也同意陈群的看法，而王朗等很多人则反对。曹操认为陈、钟的主张很对，但是当时战乱不息，他考虑到反对的人太多，就把恢复肉刑这事搁置起来了。