香山名字來歷于幾百年前的一個傳說，據說當時的皇帝為了在西山修建廟宇，就下令抓來全國最好的工匠。
皇帝聽說永定河邊上住著一位手藝特別好的馬工匠，于是就派人包圍了永定河,還揚言抓不到馬匠人就殺光全村的村民。馬匠人苦苦哀求官兵，但是都無濟于事。馬匠人還有一位年邁的母親要贍養，但是最后還是被官兵抓去了。
自從馬匠人被抓之后，吃不好，睡不香，常思念老母親，每天干活之時，就會爬到山上望一望自己家鄉的方向。一天，他像往常一樣爬到了山上張望，碰巧撿到了幾塊碎銀子，他沒有想那么多，就揣進了懷中。
下工后，他去集再上買了一包香，快速地跑到了山上準備找一個適合插香的地方，可是找了大半天，還是沒有找到合適的地方，等到累了就躺在一塊石頭上睡著了。
夢中他見到了一個閃著亮光的大香爐在天上飛，然后落在了他的腳下，興奮之余，他將香插在了香爐內。在他準備參拜的時候，他聽到了一聲呼喊聲從山下傳來。他回過頭一看，原來是自己的同鄉王石匠正被一只大惡狼追趕。
他急忙將香爐砸向了那只惡狼，惡狼一怒之下就撲倒了馬木匠，然后狠狠地咬住馬木匠的脖子。當其他的工友們趕到的時候，馬木匠就快死了。
馬木匠指著不遠處的香爐說：“別忘了把金香爐給我娘……”話音剛落就死了。后來人們就將他葬在了山頂上，并把金香爐壓在了馬木匠的墳頭上。后來，人們就把那座山叫作“香爐山”，干脆順口叫作了“香山“