「当山は懸岸壁立して空を凌ぎ、六十八級の石階は畳々として雲を挿む(さしはさむ)が如く〜」(江戸名所図会、愛宕の章)と書かれたように石段が有名です。特に正面の坂(男坂・表坂)は、神前の梅を手折るために、曲垣平九郎が騎乗したまま登り降りし、徳川家光に梅花を捧げた故事で知られています。それ故、今も出世の石段として著名で、2年に1度、御神輿が行き来する勇壮な樣が見られる「出世の石段祭り」も行われています。

江戸名所図会には美文が続きます「 〜聳然(しゅうぜん)たり。山頂は松柏鬱茂し、夏日といへども、ここに登れば涼風凛々として、さながら炎暑をわする。見下ろせば三条九陌(きゅうはく)の万戸千門は甍をつらねて所せく、海水は渺焉(びょうえん)とひらけて千里の風光を貯へ、もつとも美景の地なり」。
境内には、曲垣平九郎が手折った梅の木が残存しますが、嘉永二年(1849年)の江戸大火の折に将軍家造営の大社殿を失い、明治に再建された拝殿や本殿も空襲の折に失われたため、現在のものは昭和33年に再建されたものになります。
