ในสมัยที่ยังเป็นพระหนุ่มนั้น “หลวงปู่ดู่ พรหมปัญโญ” นิยมเดินธุดงค์และปลีกวิเวกอยู่ตามป่าเขาเถื่อนถ้ำต่างๆ แต่ครึ่งชีวิตหลังของท่านซึ่งยาวนานถึง ๔๓ ปี ท่านแทบไม่ได้ออกไปไหนเลย พำนักอยู่แต่ในวัดสะแก จังหวัดพระนครศรีอยุธยา กิจวัตรประจำวันก็คือนั่งรับแขกหน้ากุฏิตั้งแต่เช้าจรดค่ำ
แม้จะชรามากแล้ว ท่านก็ไม่เคยทิ้งกิจวัตรดังกล่าว ทั้งนี้เพื่อช่วยคลายความทุกข์ของญาติโยมที่มาจากทุกสารทิศ หลายคนมาหาท่านเพื่อขอหวยเพราะอยากรวยทางลัด จำนวนไม่น้อยอยากให้ท่านรดน้ำมนต์เป่าหัวจะได้หายจากความเจ็บป่วย ไม่มีใครที่ถูกท่านปฏิเสธ แต่ก็ใช่ว่าท่านจะสนองความต้องการของญาติโยมในทุกกรณีก็หาไม่ บางครั้งท่านก็ให้ของที่ดีกว่านั้น
คราวหนึ่งเกิดไฟไหม้ที่วัดสะแก บริเวณตรงข้ามกุฏิของหลวงปู่ถูกเพลิงเผาพินาศ แต่กุฏิของท่านไม่เป็นอะไร เป็นที่น่าอัศจรรย์ใจแก่ผู้คนทั่วไป โยมผู้หนึ่งเชื่อว่าหลวงปู่มีพระดีเป็นแน่จึงไปหาท่าน
“หลวงปู่ครับ… ผมขอพระดีที่กันไฟได้หน่อยครับ”
หลวงปู่ยิ้มก่อนตอบว่า
“พุทธัง ธัมมัง สังฆัง … ไตรสรณคมน์นี่แหละพระดี”
“ไม่ใช่ครับ … ผมขอพระเป็นองค์ๆ อย่างพระสมเด็จน่ะครับ”
หลวงปู่กล่าวย้ำว่า
“ก็พุทธัง ธัมมัง สังฆัง นี่แหละ มีแค่นี้ล่ะ … ภาวนาให้ดี”
เป็นอันว่าหลวงปู่มิได้ให้อะไรเขา … เมื่อโยมผู้นั้นกลับไป หลวงปู่จึงได้ปรารภกับศิษย์ว่า
“คนเรานี่ก็แปลก … ข้าให้ของจริงกลับไม่เอา จะเอาของปลอม”
ท่านเคยพูดถึงพระเครื่องซึ่งใครๆ ก็อยากได้เพื่อบูชาว่า การนับถือพระเช่นนี้เป็นสิ่งที่ดี แต่เป็นดีภายนอก มิใช่ดีภายใน แล้วท่านก็แนะว่า
“ให้หาพระเก่าให้พบ… นี่สิของแท้…ของดีจริง”
เมื่อศิษย์ถามท่านว่าพระเก่าหมายถึงอะไร หลวงปู่ตอบว่า
“ก็หมายถึงพระพุทธเจ้าน่ะซี … นั่นท่านเป็นพระเก่า พระโบราณ พระองค์แรกที่สุด”!!