他遂在黄山西海的翠微峰中一个天然洞穴中住下来。即言：“此地即佛地”，决心在此修行，平时他安坐洞内诵经念佛，并手持锡杖在山上挖蕨根，采野果。

他还经常在洞前石台上，双手合十，高诵佛经。数月后被当地樵夫发现。

有位姓洪的山民提议为这位外国来的和尚修庙，并带头捐献翠微寺前的田地，作为建庙场地。

洪氏家族一呼百应，有钱出钱，有力出力，有物出物，很快就把佛庙盖起来了。

于是这位不远万里来的高僧就在寺里主持香火来。而山民们不知道他的法号，只见他一年四季不着绸帛，而是编麻为衣，便称他为“麻衣祖师”。他们做佛事，摆道场也就被称为“麻衣道场”了。

正当麻衣祖师与当地百姓和睦相处之时，唐武宗突然下“灭佛尊道”的旨意，令麻衣祖师关闭庙门，停止佛事，马上离开华夏。

面对催逼的官吏，包西来和尚愤然提笔在大殿的墙上挥诗一首：“敕命如雷下翠微，佛前垂泪脱麻衣；山中有寺不容住，四海无家何处归？”