在纂修《四库全书》的过程中，纪晓岚和许多同僚都饱尝了文字所带来的窘迫、艰辛甚至家破身亡，后人很难从其中看到“爬格子”的那种愉悦。总纂纪晓岚、陆锡熊和总校陆费墀等人都因差错而多次遭到乾隆的呵斥、交部议处、罚赔等处分。
最后，总纂陆锡熊在前往盛京校书途中，连吓带冻一命呜呼；总校对陆费墀因无力负担修改费用而被革职，郁郁而终，死后仍被抄没房产祖业。纪晓岚也多次受到训斥和处罚，在乾隆四十五年（1780年）《四库全书》复校完成后，又发现许多讹误，乾隆又“令纪、陆两人一体分赔”。同僚和自己的亲身遭遇带给纪晓岚更深的感触，也使他真切认识到自身所处环境的险恶。纪晓岚腾达始于笔砚，以文字走上仕途，在他所生活的乾隆朝也正是“文字狱”达到顶峰的时期，这也一定使纪晓岚噩梦缠身。
在乾隆三十三年（1768年），纪晓岚因给亲家卢见曾通风报信而卷入盐政亏空案。和珅抓住时机给了他最致命的打击，他被发配到新疆乌鲁木齐。在这段时间里，他的大儿子病亡，爱妾郭彩符也撒手人寰，家破人亡。但纪晓岚依然坚定地从悲痛中走了出来，两年后他又回到朝堂。
但是这些并不能妨碍纪晓岚乐观的精神，纪晓岚在69岁那年自题一首挽联如下：“浮沉宦海如鸥鸟，生死书丛似蠹鱼。”把自己比作在官场中起落浮沉的鸥鸟；又说自己如生死书中的蠹鱼。这其中表达了他对自身命运的喟叹，也包含了对自己一生的认识，这也是他毕生经历的真实写照。
从这一自挽联中也可以看出纪晓岚对官场的厌倦之情，久在官场浮沉的纪晓岚并没有体会到多少飞黄腾达的快感，他虽然修炼成了超然世外的态度，可称得上是看破红尘，但他的内心更多的时候是充满孤独、凄苦的感叹。
纪晓岚一生做过翰林院编修、日讲起居注官、侍读学士、詹事府詹事、内阁学士、总理中书科事务、兵部侍郎、都察院左都御史、兵部尚书、礼部尚书、协办大学士等官，诰受光禄大夫，经筵讲官兼文渊阁直阁事，赐紫禁城内骑马。
嘉庆十年（1805年），82岁的纪晓岚死于京城，历雍正、乾隆、嘉庆三朝。嘉庆皇帝御赐碑文有“敏而好学可为文，授之以政无不达”之句，故谥号“文达”，这是对他文学才能的最高认可。
另外还有“满清第一才子”、“风流才子”、“幽默大师”和“一代通儒”等称号，每个称号后面都为后世留下诸多令人津津乐道的故事。
