পূর্ববঙ্গের ঢাকা জেলার অন্তর্গত পদ্মানদীর উপকূলবর্তী একটি গ্রামের নাম ভাগ্যকুল। ভৌগোলিক সীমারেখায় এই গ্রামের পরিধি খুব বিস্তৃত নয়, কিন্তু ভাগ্যকুল রাজ পরিবারের কীর্তিকলাপ অবদান ও অকাতর দানের জন্য বিখ্যাত। একদা রায় পরিবারের পূর্বপুরুষদের বাস ছিল বিক্রমপুর। সেখানেই এক সাধারণ পরিবারে জন্ম ভাগ্যকুল রাজবাড়ির প্রথমপুরুষ কৃষ্ণজীবন কুণ্ডু। তাঁর আকস্মিক প্রভূত অর্থলাভের কাহিনী ও রাজা হওয়ার ঘটনা প্রায় অলৌকিক। কৃষ্ণজীবন ঢাকার ধনী ব্যবসায়ী জীবন সাহার এস্টেটে চাকরি করতেন। তিনি কলকাতায় এসে সস্তায় সোনা আর লবন কিনে পরে চড়া দামে বিক্রি করে প্রচুর লাভ করতেন। একবার কৃষ্ণজীবন মনিবের আদেশে কলকাতায় আসেন সোনা কিনতে। এসে দেখলেন সোনা ক্রয় করার সুযোগ পেরিয়ে গেছে। তখন তিনি মনিবের আদেশ ছাড়াই এক জাহাজ লবন কিনলেন। কিন্তু এতে জীবন সাহা বিরক্ত হয়ে বললেন- নিজের ইচ্ছায় লবন ক্রয় করেছ। এর লাভ লোকসান সব তোমার। মাসখানেকের মধ্যে লবনের দাম বাড়ল, লাভ হল পঞ্চাশ হাজার টাকা। জীবন সাহা তাঁর কথা রাখলেন। সম্পূর্ণ লাভের টাকা দিয়ে দিলেন কৃষ্ণজীবনকে। ব্যবসা শুরু করলেন তিনি। বিত্তবান হয়েও কৃষ্ণজীবন ছিলেন অত্যন্ত দানী ও দয়াবান। তাঁর অকাতর দানের কথা শুনে এবং মহত্বের পরিচয় পেয়ে তখনকার নবাব জায়গীর ও “রায়” উপাধি প্রদান করলেন। পত্তন হল জমিদারীর। এরমধ্যে কৃষ্ণজীবনের মৃত্যু হলে তাঁর পুত্র রামচন্দ্র কুণ্ডু(রায়) রায় বংশের প্রতিষ্ঠা করেন। ৩০০বছর আগে অষ্টাদশ শতাব্দীর গোড়ার দিকে ভাগ্যকুলে (তখনকার নাম ছিল ভাগারকুল) গড়ে ওঠে বিশাল এক মহলা বাড়ি, দুর্গাদালান, কাছারিবাড়ি ইত্যাদি। এইসময় থেকে দুর্গাপুজোও শুরু করেন তাঁরা। ১৯৩৫ সালে দাঙ্গা বাঁধল, দেশের তৎকালীন পরিস্থিতিতে ভাগ্যকুলের রায় পরিবার ওদেশ ছেড়ে চলে আসেন কলকাতায়।