本丸を囲う石垣は約6メートルの高さに築かれていますが、特に北西隅に迫り出した天守台の石垣は、一段高くひとまわり大きな野面石積みで築かれています。
豊臣秀吉天下統一の後、この天守台には金箔瓦で葺かれた三層の天守閣がそびえていたといわれます。
豊臣秀吉の五三の桐紋をあしらった軒丸瓦などが遺されており、秀吉子飼いの戦国武将、仙石秀久が小諸城主であったとき、関東に移封された家康に対して西の備えとして築かれたと考えられています。
しかし、寛永の初め頃に落雷により焼失後に、幕府の許しが得られず再建されることはありませんでした。