রায় পরিবারের পূর্বপুরুষ রাজারাম ও জগৎরাম ১৭৪২ সালে বেহালায় বসতি স্থাপন করলেন। ১৭৫৬ সাল থেকে রায় পরিবারের দুর্গাপূজার সূচনা হল। পরবর্তীকালে দুর্গাপ্রসাদ রায়ের কৃতি পুত্র রায়বাহাদুর অম্বিকাচরণ রায়ের উদ্যোগে এই পুজো বিশেষ আড়ম্বরের সঙ্গে পালিত হতে থাকে। অম্বিকাচরণের সেজোপুত্র অমরেন্দ্রনাথ রায় ১৯৩০ সালে ‘অমরেন্দ্র ভবন’ নির্মাণ করেন এবং সেখানে এই পুজো সম্পন্ন করতে থাকেন। এরপর অমরেন্দ্রনাথ রায়ের একমাত্র পুত্র স্বর্গীয় শৈলেন্দ্রনাথ রায় নিষ্ঠাভরে এই পুজোর দায়িত্ব নেন। বর্তমানে বেহালা রায়বাহাদুর রোডের অমরেন্দ্র ভবনের এই ঐতিহ্যবাহী দুর্গাপুজোর প্রধান উদ্যোক্তা— শৈলেন্দ্রনাথ রায়ের দুই পুত্র শ্রী সুবীর রায় ও শ্রী গৌতম রায়।