但是元稹心里并不这么认为。当时张祜的诗轰动朝野，可能着实让他心里不舒服了一下。尽管现在看起来元稹在当时的位高权重，不是一介布衣可比的，而且他留传后世的佳作也比张祜多得多。但从古到今一直有这种人——才高量窄。长江后浪推前浪，前浪不愿死在沙滩上，元稹选择尽力地打压张祜。
当时元稹与令狐楚有朋党之争，积怨较深。因此，令狐楚推荐张祜，元稹就横加阻挠。当令狐楚向德宗举荐张祜时，元稹对皇上进言，说此人的作品雕虫小巧，有伤风化。元稹位居高官，他这么一作梗，愣把张祜登云阶的梯子给毁了。所谓“城门失火，殃及池鱼”，在这种情况下，张祜毫不知情地成了朋党之争的牺牲品。后来他再想晋身官场，也没有这么好的机会了。
当时元稹的铁哥儿们白居易，也是身居高位，还老参与主持铨问考试、进士录取这样重要的工作。在元白势力的联合抵制下，张祜就比较郁闷地屡次碰壁，一生仕途蹭蹬。直到很久以后，才遇上对他赏识有加，堪称知己的杜牧。