小諸城は明治4年（1871年）の廃藩置県で廃城となり、明治政府が民間に払い下げることになります。小諸城が荒廃していく様を憂いた小諸藩の元藩士らが資金を集め、小諸城三之門より城内を買い取りました。そして、本丸跡に祀ったのが懐古神社です。

紅葉ヶ丘に城の鎮守神として祀られていた天満宮（菅原道真公・天神様）と火魂社（火之加具土命・荒神様）、及び、歴代の小諸藩主の霊が合祀されています。