南宋咸淳元年（1265）的夏天，净法禅师化缘在冠山造了一座简易的庵庙，取名为“西隐庵”，以示自己隐居于萧山之西的意思。后西隐庵扩建，改称“云岩寺”。
当时，寺西有“西方殿”，寺前有“雪心池”。北宋诗词大家秦观（秦少游）曾经攀着“丹梯”，上到冠山上的蓬莱阁题了一首诗：“路隔西兴三二水，门
临南镇一千峰。”
据清朝来禹志《冠山志》称：旧时冠山寺有天王殿、大雄宝殿、三圣殿，还有藏经阁、蓬莱阁、天凤阁、议法部、鼓楼、钟楼、普济亭、白云堂、客堂等建筑。尤其是经过宋、元、明、清历代修缮，这里更是殿阁宏伟，僧侣云集，香火、游客不绝。冠山寺在清晚期达到鼎盛，有僧人300余人。
寺区内古木参天，松翠竹秀，山青水绿，风景秀丽，还有乳泉、龙头滴水、雪心池、三友轩、涵虚亭、分翠亭、净山茶庄等名胜古迹，寺周围岩壁上现有萧山仅存的摩崖石刻7处，历代精刻的“鹅”、“洗心池”、“洞天一品”、“对奕”、“清可（天台国农题）”和“黄道人画”的画像石等，为佛教十三法相地之一。冠山禅寺之所以兴盛，主要得益于明清长河做官人的鼎力相助，并留诗作。