ভবনটির সঙ্গে রবীন্দ্রনাথ ঠাকুরের একটি ঘনিষ্ঠ সম্পর্ক তৈরী হয়েছিল মূলত ব্যবসায়িক সূত্রে। তিনি নিজেই এই ভবনের নাম দিয়েছিলেন ‘কুষ্টিয়া কুঠিবাড়ী’। অনেক সময় কলকাতা থেকে ট্রেনে কুষ্টিয়ায় নেমে শিলাইদহে যাওয়ার পথে রবীন্দ্রনাথ এই কুঠিবাড়ীতে বিশ্রাম নিতেন। কখনও রাত্রিবাস করতেন। রবীন্দ্রনাথের শ্যালক নগেন্দ্রনাথ রায় চৌধুরীও কিছুকাল এখানে বাস করেছিলেন।

রবীন্দ্রনাথ ১৯২২ সালে শেষবার শিলাইদহে আসেন। ‘টেগর লজে’র পাশেই কুষ্টিয়া স্টেশন হতে ট্রেন ধরে কলকাতায় যান। যজ্ঞেশ্বর তাঁকে সামান্য সময়ের জন্য হলেও ‘টেগর লজে’ নিতে স্টেশনে আসেন। কিন্তু রবীন্দ্রনাথ সেই অনুরোধ ফিরিয়ে দিয়ে বলেন ‘সেদিন আর নেই যজ্ঞেশ্বর, আজ আমি ভূতের বোঝা বয়ে ক্লান্ত’।

রবীন্দ্রনাথ ‘টেগর লজে’ বসে কুষ্টিয়া রেলস্টেশন সংলগ্ন বসন্তের ফুলে ভরা একটি কুরচি গাছ দেখে ‘কুরচি’ নামে একটি কবিতা লিখেছিলেন যা পরে বনবাণী গ্রন্থে অন্তভূক্ত হয়। কবিতার শুরুর ভূমিকায় তিনি লিখেছিলেন “অনেককাল পূর্বে শিলাইদহ থেকে কলকাতায় আসছিলাম। কুষ্টিয়া স্টেশনঘরের পিছনের দেয়ালঘেঁষা এক কুরচি গাছ চোখে পড়ল। সমস্ত গাছটি ফুলের ঐশ্বর্যে মহিমান্বিত। চারদিকে হাটবাজার, একদিকে রেলের লাইন, অন্যদিকে গরুর গাড়ির ভিড়, বাতাস ধুলোয় নিবিড়। এমন অজায়গায় পিডাব্লিউডি স্বরচিত প্রাচীরের গায়ে ঠেস দিয়ে এই কুরচিগাছ তার সমস্ত শক্তিতে বসন্তের জয় ঘোষণা করছে, উপেক্ষিত বসন্তের প্রতি তার অভিবাদন সমস্ত হট্রগোলের উপরে যাতে ছড়িয়ে ওঠেএই যেন তার প্রাণপণ চেষ্টা”।