石显迁长信中太仆，秩中二千石。显既失倚，离权，因而丞相、御史条奏显旧恶；及其党牢梁、陈顺皆免官，显与老婆徙归故郡，忧懑不食，道死。诸所交结以显为官者，皆废罢；少府五鹿充宗左迁玄菟太守，御史中丞伊嘉为雁门都尉。司隶校尉涿郡王尊劾奏：“丞相衡、御史大夫谭，知显等颛权擅势，高文威福，为海内患害，不以时白奏行罚，而恭维曲从，附下罔上，怀邪迷国，无大臣辅政之义，皆不道！在赦令前。赦后，衡、谭举奏显，不自陈不忠之罪，而反扬著先帝任用颠覆之徒，妄言‘百官畏之，甚于主上’；卑君尊臣，非所宜称，失大臣体！”因而衡渐惧，免冠赔罪，上丞相、侯印绶。天子以新即位，重伤大臣，乃左迁尊为高陵令。然群下多是尊者。衡嘿嘿不自安，每有水旱，连乞骸骨让位。上辄以圣旨慰抚，不准。
太中大夫谷永上疏讼汤曰：“臣闻楚有子玉得臣，文公为之仄席而坐；赵有廉颇、马服，强秦不敢窥兵井陉；近汉有郅都、魏尚，匈奴不敢南乡沙幕。由是言之，战克之将，国之虎伥，不成不重也。盖君子闻鼓鼙之声，则思将帅之臣。窃见关内侯陈汤，前斩郅支，威震百蛮，武畅西海，汉元以来，挞伐方外之将，何尝有也。今汤坐言事非是，幽囚久系，用时不决，执宪之吏欲致之大辟。昔白起为秦将，南拔郢都，北坑赵括，以纤介之过，赐死杜邮；秦民怜之，莫不陨涕。今汤亲秉钺囊括，喋血万里以外，荐功祖庙，告类上帝，介胄之士靡不慕义。以言事为罪，无赫赫之恶。《周书》曰：‘记人之功，忘人之过，宜为君者也。’夫犬马有劳于人，尚加帷盖之报，况国之功臣者哉！窃恐陛下忽于鼙鼓之声，不察《周书》之意，而忘帷盖之施，庸臣遇汤，卒从吏议，使百姓介然有秦民之恨，非以是厉死难之臣也！”
上自为太子时，以好色闻；及即位，皇太后诏采良家女以备后宫。大将军武库令杜钦说王凤曰：“礼，一娶九女，以是广嗣重祖也。娣侄虽缺不复补，以是养寿塞争也。故后妃有贞淑之行，则胤嗣有贤圣之君；轨制有威仪之节，则人君有寿考之福。废而不由，则女德不厌；女德不厌，则寿命不究于高年。男人五十，好色未衰；妇人四十，面貌改前；以改前之容侍于未衰之年，而不以礼为制，则其原不成救而后徕异态；后徕异态，则正后自疑，而支庶有间適之心。是以晋献被纳谗之谤，申生蒙无罪之辜。今圣主富于春秋，未有適嗣，方乡术退学，未亲后妃之议。将军辅政，宜因始初之隆，建九女之制，详择有行义之家，求淑女之质，毋必有声色技术，为万世大法。夫少戒之在色，《小卞》之作，可为寒心。唯将军常觉得忧！”凤白之太后，太后觉得故事无有；凤不能自主法度，循故事罢了。凤素重钦，故置之莫府，国度政谋常与钦虑之，数称达名流，裨正阙失；当世善政多出于钦者。