他奉行“万言万当不如一默”的原则，对雍正的任何决策都少有异议。与其说他是雍正朝的名相，不如说他是雍正朝的秘书长。

也正因如此，生性多疑又权力极盛的雍正对张廷玉一直是信赖有加，除了亲弟弟怡亲王允祥，雍正最信任的就是张廷玉了。

1729年军机处设立，张廷玉位列怡亲王允祥之后，奉命拟定各种典章制度，还监管吏部各种事务。怡亲王去世后，张廷玉升任领班军机大臣，雍正盛赞他是大臣中第一宣力者。

除了生局外，雍正还不吝惜各种物质赏赐，甚至还把圆明园附近的澄怀园赏给张廷玉，张廷玉因此号称澄怀主人。除此之外，雍正还给了张廷玉一个重磅大礼——配享太庙。

太庙是皇帝的宗庙，作为大臣能配享太庙，享受皇家香火，这在古代是堪称最高荣誉的事情。雍正一朝配享太庙的仅有20余人，而张廷玉却是其中唯一的汉人。由此可见雍正对张廷玉信任到何等地步。

然而，也正因这个配享太庙的承诺，让张廷玉的晚年陷入凄凉潦倒之中。1735年，雍正驾崩，四阿哥弘历登基改元乾隆。

作为三朝老臣，又是雍正临终前指定的顾命大臣，张廷玉在乾隆初期还是很受重用。在乾隆出京时负责总理京城事务。

1739年，张廷玉又主持修成了《明史》，这不是中国历史上编写时间最长的史书，93年间数易其稿，最终在张廷玉的主持下修成。这让张廷玉除了以名臣身份在青史留名之外，又以《明史》作者的身份在明史留名。

然而，他与昔日的同僚鄂尔泰的矛盾却是与日俱增。1748年，已经77岁的张廷玉向乾隆请求退休，然而却被乾隆拒绝。

张廷玉年事已高，一心想要回家养老，乾隆多次挽留，张廷玉也坚持己见。四年后，乾隆终于松口让张廷玉退休，张廷玉高兴之余，又想找乾隆确认一下当年先帝承诺的配享太庙是不是还做数。

乾隆对张廷玉执意退休本就是心怀不满，见张廷玉又来追问配享太庙的事情更是火上心头。乾隆虽然写了手诏声明雍正的遗命，但是又写了一首诗告诫张廷玉不要得意忘形。

张廷玉拿到这一纸承诺之后没有亲自去谢恩，反而派自己儿子代替，乾隆更加恼火。让军机处传旨命张廷玉回奏，当时在军机处当值的汪由敦是张廷玉的学生，见皇帝发怒，连忙求情，又把这个消息告诉了张廷玉。

张廷玉知道大祸临头，连忙进宫请罪。乾隆借机大做文章，下旨让朝臣给张廷玉议罪，鄂尔泰一党更是借机大肆攻击张廷玉。乾隆下旨让张廷玉退休削去爵位，但是死后仍可配享太庙。

折腾这么一圈以后，张廷玉决定在第二年春天告老还乡。但是好巧不巧的是，张廷玉早不走晚不走，偏偏是在皇长子永璜丧礼刚过就要走，更是让乾隆怒不可遏。

乾隆不仅下旨把张廷玉痛骂了一顿，还取消了他配享太庙的资格。但是事情还没结束，在张廷玉回乡后不久，张廷玉家的亲戚朱荃又被查出诸多不法事，张廷玉作为举荐人也跟着倒霉，被乾隆派去的人抄了家。