张升取得状元之后，授翰林修撰，他刚正不阿，嫉恶如仇。弘治改元（1488），迁庶子。当时，人称“纸糊三阁老”中，只有首辅刘吉侥幸留任。张升上疏给孝宗，言“吉乃倾身阿佞，取悦言官”，“由是谏官缄口，奸计始遂”。“盛纳艳姬，恣为淫黩。”并历数刘吉纳贿、纵子等十大罪状。刘吉对他恨之入骨，指使他人-张升乃轻薄小人，诋毁执政，一时舆论大哗。孝宗不明-，将张升调往南京任工部员外郎。临行，同乡好友何乔新赠诗云：“乡邦交谊最相亲，忍向离筵劝酒频。抗疏但求神圣治，论思端不忝儒臣。自怜石介非狂士，任诋西山是小人。暂别蛮坡非远谪，莫将辞赋吊灵均。”
直到刘吉事败被罢官，张升才恢复原职。历任礼部左、右侍郎，弘治十五年（1502）任礼部尚书。张升在礼部五年，不畏强权，直言敢谏，虽屡遭攻击，然自守谨饬。
武宗即位（1506），嬉游怠政。给事中胡煜、杨一汉等上疏劝谏，奏疏交礼部，张升借机上疏，劝武宗“亲贤远佞，克谨天戒”。武宗觉得张升言之有理，却并不采纳。张升遂连疏乞休，但未获批准。正德二年（1507），张升得罪执掌大权的刘谨，于是谢病辞官，武宗又不准，反而下诏加封张升太子太保衔。张升后死于任上，享年76岁，讣告传至京城，武宗为之辍朝一日，赠太子太傅，谥文僖。
著有《柏岩文集》、《柏岩诗集》等。