罗汉寺坐北朝南，占地面积1438.7平方米。创建年代不详，据碑记载，清雍正八年至十一年（1730-1733）重修。二进院落布局，中轴线由南向北依次有山门、过殿和正殿，两侧为钟、鼓楼、厢房、配殿。正殿为元代建筑，石砌台基，面宽三间，进深四椽，单檐悬山顶，五檩无廊式构架,斗拱五铺作，双下昂,计心造，明间出斜昂，正殿明间设板门，两侧次间设直棂窗。前廊立清雍正十一年（1733）“重修罗汉寺碑”1通，青石，龟蚨座。过殿为明代建筑，面宽三间，进深六椽，单檐悬山顶，七檩前后廊式构架。过殿内全部使用八面葵口砂石柱，前檐设斗拱，后檐无斗拱。山门为清代建筑。寺内另存残碑3通，碣1方。清雍正十一年（1733）“重修罗汉寺碑”，2007年《寿阳碑碣》已收录。

2016年被公布为省级文物保护单位。