এই পুজোর বয়স প্রায় ৩৫০ বছর। দেবী চণ্ডীর অষ্টধাতুর মূর্তি সতীঘাটা থেকে প্রায় তিন কিলোমিটার দূরে রাজবাড়িতে এনে প্রতিষ্ঠা করেন চাঁচলের রাজা রামচন্দ্র। সেদিন থেকেই রাজবাড়িতে শুরু হয় দেবীর নিত্যপুজো। তবে প্রথমে মহানন্দানদীর পাড়ে মাটির ঘর ও খড়ের ছাউনি দিয়ে মন্দির তৈরি করে পুজো শুরু করা হয়েছিল। সময়ের সঙ্গে তা পরিবর্তন হয়েছে। পরবর্তীতে এই বংশের অন্যতম রাজা শরৎচন্দ্র রায়চৌধুরির নির্দেশে তৎকালীন ম্যানেজার সতীরঞ্জন বন্দ্যোপাধ্যায়ের তত্ত্বাবধানে সেখানে পাকা দুর্গাদালান নির্মিত হয়। ততদিনে জায়গাটির নাম পরিবর্তিত হয়ে পাহাড়পুর হয়েছে। প্রতিবছর এখানেই রাজবাড়ির দুর্গাপুজো অনুষ্ঠিত হয়।