然而“天有不测风云”，徐家喜庆的气氛还未散去，就从京城里传来消息，原来按照大清科场条例。凡是中举的文章各省都要送往京城交由礼部官员“磨勘”。那年的试题为“君使臣以礼”，徐述夔文章里面的“礼者，君所自尽者也”一句中的“自尽”两字，被礼部官员认为“不敬”，因而取消了他的会试资格并且永不录用。心灰意冷的徐述夔从此呆在自己修建的书舍“一柱楼”里，著书吟诗度日，并写下了《一柱楼编年诗》、《一柱楼小题诗》、《一柱楼和陶诗》、《五色石传奇》和《八洞天》等十余种诗文及小说。

此后徐述夔心情郁闷，不久后离开了人世，那时的文人都以刊印自己的著作流芳百世为荣，于是儿子徐怀祖。也就是素娘的哥哥，将父亲的三本诗集和《学庸讲义》先刊印出来。没想到却引发了一场惊天大祸。

事情缘起于徐怀祖以两千四百两白银买下了同镇东台县监生蔡嘉树的一片田地，但其后没过多久就病逝了，膝下两个小儿尚年幼，蔡家见徐家势落便要以极低的价格赎回田产，徐家自然不同意。蔡嘉树十分恼火，便想找事儿来触触徐家霉头，就在他苦思冥想如何对付徐家时，一个叫做童志璘的如皋县民出主意说徐家私自刊印的《一柱楼小题诗》中有“明朝期振翮，一举去清都”等诗句为“非常悖逆之词”，让蔡嘉树去衙门里告徐家藏有。

徐家得到消息后知道此事非同小可，便抢先抱书至县衙呈首，等到蔡嘉树告发时已是棋慢一着。蔡嘉树告发“逆书”，东台县不敢大意随即上报，并将诗文呈解负责集中苏北各州县查缴的江宁书局，由于东台县送来的“逆书”未标明究竟书中何处有违禁内容，江宁书局按例将书退回要求注明后再报。

蔡嘉树见“逆书”被退回，认为是徐家贿赂了有关官员，于是一纸诉状投至江苏布政使衙门，把东台县衙和江宁书局也一起给告了。江苏布政使陶易及幕僚陆琰为人正直，了解情况后知道是蔡嘉树挟私诬告，于是批文驳斥：“书版已经呈县，如有违碍应行销毁，该书自当交局，与尔何干？显系挟嫌倾陷。”又在发往扬州府的牌文上注明：“讲论经传文章，发为歌吟篇什，若止字句失检，涉于疑是，并无悖逆实迹者，将举首之人即以所诬之罪，依律反坐。”扬州知府谢启昆接到牌文即命东台县将所有一干人犯押解扬州审理，此时仍是以民事案件处理。

时任江苏学政的刘墉恰巧来到扬州，知道乾隆一直为汉人官员收缴不利而恼火，此事可以投其所好给皇上一个把柄，于是将此案移交两江总督、江苏巡抚处理，同时连夜撰写密折快马加鞭送往京城。乾隆看了刘墉密折以及《一柱楼诗集》后雷霆震怒，认为“明朝期振翮，一举去清都”，“大明天子重相见，且把壶儿搁半边”，“夺朱飞正色，胡乃亦称王”和“毁我衣冠真恨事，捣除巢穴在明朝”正是裸的反诗。

遂密令两江总督高晋、暂署两江总督萨载以及江苏巡抚杨魁三人严查，连发数道谕令并押解人犯入京。其中包括江苏布政使陶易和幕僚陆琰、扬州知府谢启昆、东台知县涂跃龙以及江宁书局等官犯以及徐家男女老少若干口。

秋后判决下来了，徐述夔、徐怀祖虽已身故，仍按大清凌迟律锉碎其尸，枭首示众。徐家男丁十六岁以上皆斩，其余人等没入旗奴，财产抄没，书籍刻版尽行焚毁。

江苏布政使陶易病死狱中亦斩首，抄没家产妻妾没入旗奴。幕僚陆琰斩首，抄没家产，妻女没入旗奴。扬州知府谢启昆发配黑龙江漠河军台，东台知县涂跃龙杖责一百，流放三年即日解往伊犁。

而蔡嘉树则功罪两抵释放了而已，什么也没捞着，却害了徐家数十口人。

刘墉则以劾举徐述夔案功绩显著，升迁户部右侍郎。

从此，东台栟茶凡是徐姓人家都隐姓埋名，远走他乡避祸，一个传承了多少代的书香大族，就这样慢慢的淡出了人们的视线。