张安世自以父子封侯，在位太盛。乃辞禄，诏都内别藏张氏知名钱以百万数。安世谨慎周到，每定大政，已决，辄移病出。闻有诏令，乃惊，使吏之丞相府问焉。自朝廷大臣，莫知其与议也。尝有所荐，其人来谢，安世大恨，觉得“举贤达能，岂有私谢邪！”绝弗复为通。有郎功高不调，自言安世，安世应曰：“君之功高，明主所知，人臣执事，何是非而自言乎！”毫不准。已而郎果迁。安世自见父子尊显，怀不自安，为子延寿求出补吏，上觉得北地太守；岁馀，上闵安世大哥，复征延寿为左曹、太仆。
帝以萧望之经明慎重，群情有馀，材任宰相，欲详试其政事，复觉得左冯翊。望之从少府出为左迁，恐有分歧意，即移病。上闻之，使侍中成都侯金安上谕意曰：“所用皆更治民以考功。君前为平原太守日浅，故复试之于三辅，非有所闻也。”望之即起视事。