只是随着宋王朝统治日益**，沂州知州又换上了高俅的本家堂兄弟高封，不学无术，偏偏贪婪狡诈，盘剥虐待百姓倒是把好手，敲骨吸髓连续几年下来，百姓日益困苦不堪，就是地主士绅，若是没足够背景和家底也抗不住了，自家的日子都顾及不过来，拜献给道观寺庙的香火钱粮自然也日益暴减，外地又几无人来这里，这下子，两山的无本买卖就撑不下去了，钱粮日益紧张，老底渐渐耗空，养不起那么多张白吃白喝的嘴了，不提两山的香火竞争激烈到堪称惨烈，时有争斗，你死我活，就是各自的内部也矛盾日益多起来，波折不断，反复发生内讧分裂，道士和尚迅速星散，纷纷在带头大哥的带领下转移阵地另灵山妙地谋逍遥当佛爷道爷处去了。

但仍有不少僧道还在留守坚持，靠着此地有众多百姓和田地，张嘴吃用的人大大少了，日子也还能维持下去。

但这样的逍遥日子也没过几天。

宋王朝先是发生了一波移民叛逃潮，一下子损失了两千多万人口，这的百姓实在受不了沂州官府上上下下的贪官污吏日益猖獗的盘剥虐待，也受不了必然的社会治安日差，地痞恶霸黑帮趁机日益增多而日益嚣张祸害乡里，受不了地主士绅日益强霸凶残的高地租或奴役等压榨，也毅然逃了不少人家，逃到东面几成空白地的密州重新安家，或者干脆叛逃海外。

人心惶惶之际，外地有了出路和希望，此处本就贫穷不堪的百姓自然不会再浪费钱粮去拜道观寺庙求指路或祈福，加上赵岳闹强盗军毁掉了山东十几州府的统治，其间有不少军痞趁机作恶，遭到新官府追捕而不得不卷财叛逃，隐匿老家却立不得脚，纷纷闻风逃来地形复杂多山好活的沂州自发汇聚成一股股山贼强盗，而沂州知州高封这样的混蛋官只顾安坐城池当官和盘剥百姓，根本不管百姓承受的强盗危害，手下空有重兵，也有猛将，却就是从不出兵剿匪，逼得不想迁走的沂州百姓为活命也大量逃走，自此，此地的人家户数也暴减，双重效应下，简直是雪上加霜，两山的香火几乎直接垮了。

先是和尚这面撑不住了，终于全部星散而去，山上成空，彻底没了人烟，只有搬不走的房舍在山风中寂寞荒芜下去。

接着是另一断背面山上的道士也一**离开，但并未全走光。

仍有几个道长留守下来。

这几位道士师徒有医术，可以一面为当地人看病赚点钱粮布匹盐巴等日用品，一面自己动手下力气在山下的无主田地上种些庄稼蔬菜，道家自古有隐世自耕自食打渔打猎潜行深山修仙的传统，和依靠辉煌庙宇吸引香客来拜献赚香火钱维持开销的和尚的谋生及处世方式不一样，如此，空旷的道观生活对这几位道士来说反倒是比从前清静从容的好日子。

当然，乱世来临，沂州匪患横行，这样的清静从容日子也肯定过不了几天。

很快，有叛军山贼盯上了断背之山上的现成房舍居住处，流窜过来霸占为近乎现成的山寨。

寺庙那边自然落入山贼之手，成了贼窝，庙里供奉的神圣佛陀菩萨金刚天王默默像陪伴着强盗大吃大喝行凶作恶来的酒肉，无声无息地看着众匪在神像前欺辱抢来的妇女

另一面山上，几位留守的道长也留不住了，仗着剑法武力和窜来夺山的强盗斗了斗，开始还行，杀了几个悍匪头目，吓跑了其他人数不多的强盗军匪，但随后闻听一看流窜来的强盗聚来越来越多，就他们这几个人指定是打不过的，只得抛下道观赶紧走了。

从此，断背之山就彻底成了强盗窝。