در زمان ناصرالدین شاه، به دلیل افزایش زنان او، حرمسرای قاجار، می بایست تجدید بنا می شد. به همین جهت بر روی خرابه های بنای قدیم که دارای ارزش تاریخی بسیاری بود، اندرونی جدیدی با وسعت بسیار ساخته شد.