平安中期、慈恵大師良源が北山に創建したのがはじまり。天正年間（1573～92年）に現在の地に移りました。当地は紫式部の邸宅跡でもあり、『源氏物語』や『紫式部日記』『紫式部集』などほとんどこの地で執筆されたものです。境内には紫式部邸宅跡を記念する顕彰碑や「源氏の庭」があります。
　また廬山寺といえば2月の節分に行われる「鬼の法楽」も有名です。