张安世自以父子封侯，在位太盛。乃辞禄，诏都内别藏张氏知名钱以百万数。安世谨慎周到，每定大政，已决，辄移病出。闻有诏令，乃惊，使吏之丞相府问焉。自朝廷大臣，莫知其与议也。尝有所荐，其人来谢，安世大恨，觉得“举贤达能，岂有私谢邪！”绝弗复为通。有郎功高不调，自言安世，安世应曰：“君之功高，明主所知，人臣执事，何是非而自言乎！”毫不准。已而郎果迁。安世自见父子尊显，怀不自安，为子延寿求出补吏，上觉得北地太守；岁馀，上闵安世大哥，复征延寿为左曹、太仆。
元康四年己未，公元前六二年春，正月，诏：“年八十以上，非诬告、杀伤人，它皆勿坐。”