宝暦三年(1753) 広島国泰寺十一世笑堂行契和尚〔宝暦十三年(1763)八月十五日遷 化〕が広島藩より扶持を得て木ノ庄町木門田に隠居し三原宗光寺の末寺の西宝寺に住していた。宝暦六年（1756）三月十七日、宗光寺十三世眞猊行達和尚〔天明二年(1782)二月六日遷化〕より寺号を譲られ末寺を離れ、同八年(1758)に下総國葛飾郡幸手領下野村瑞光寺開山 穏之道顯和尚が笑堂行契和尚が本師となるため同寺の末寺となった。栗原村樋口屋又兵衛の寄進をうけ、同九年(1759)閏七月十三日免許を得て現在地に移転し、旧本堂を建立す。笑堂行契大和尚を開山と仰ぎ、広島藩五代当主浅野吉長公を開基と敬い、以後 大興山済法寺と改めた。
済法寺七世牧元喝童和尚〔文政五年(1822)閏一月二十二日遷化〕の代 享和年間 尾道の問屋・大紺屋・栗原屋・不老屋・大阪屋・世羅の森近氏・御手洗の善胡屋などの喜捨により裏山巨岩の中央最も高いところに釈迦如来像を刻し、そのほか１７の巨岩転石に正法護持の聖者十六羅漢像や従者、阿羅漢像など総数２３面・２６尊者を半肉彫りに刻して山全体を曼陀羅図に仕立て夕日に輝く聖地に幽玄の世界を醸し出している。
済法寺九世物外不遷和尚〔寛政六年(1794)〜慶応三年(1867)十一月二十五日遷化〕は世に『拳骨和尚』と親しまれた曹洞宗の傑僧である。柔術不遷流の開祖で剣、槍、鎌など武術の達人で三千人もの弟子を抱えた。一方俳人松尾芭蕉の信奉者であり、自ら蕉風門下をもって任じ、多くの名句を残した。また、その書画は、力強さの上に自由奔放、軽妙洒脱の風格を具える。尺八、笛にも長じ、優れた文人僧の側面を持つ。晩年は、幕末の動乱のさなか、平和を願って朝暮間を東奔西走し、その旅中で果てた勤王僧であり、「太平を待ち奉る寒さかな」が辞世の句であった。“奇僧”ともいわれた物外不遷和尚の一生をつらぬいたものは、桁外れのヒューマニティーと慈悲心の発露であったといってよかろう。
現在、お寺には物外不遷和尚ゆかりの品々が保存され、尾道市文化財に指定されている。
