ในระหว่างประทับอยู่ ณ ที่นี้ สมเด็จพระเอกาทศรถได้หญิงชาวเกาะเป็นบาทบริจาริกา มีนามว่า "อิน" จึงเป็นเหตุให้คนทั่วไปเรียกเกาะนี้ต่อมาว่า "เกาะบางปะอิน" ต่อมาเมื่อพระองค์จะเสด็จกลับ พระองค์ก็ทรงพานางอินนี้กลับไปกรุงศรีอยุธยาด้วย นางอินผู้นี้จึงเป็นพระสนมในเวลาต่อมา และมีพระราชโอรสด้วยกัน เล่ากันว่าพระราชโอรสพระองค์นั้น คือ สมเด็จพระเจ้าปราสาททอง
เมื่อปี พ.ศ. 2175 หลังจากที่สมเด็จพระเจ้าปราสาททองทรงขึ้นครองราชย์แล้ว พระองค์ทรงพระกรุณาโปรดเกล้าฯ ให้สร้างวัดขึ้นตรงบริเวณนิวาสสถานเดิมของพระมารดา และได้พระราชทานนามว่า "วัดชุมพลนิกายาราม" และได้สร้างพระที่นั่งองค์หนึ่งเพื่อฉลองการที่พระราชเทวีประสูติสมเด็จพระเจ้าลูกเธอ พระนารายณ์ราชกุมาร พระราชทานนามว่า "พระที่นั่งไอศวรรย์ทิพยอาสน์" พระราชวังบางปะอินจึงเป็นสถานที่ประทับของพระมหากษัตริย์ในฤดูร้อนสืบเนื่องกันมา จนกระทั่ง กรุงศรีอยุธยาได้เสียแก่พม่าเมื่อปี พ.ศ. 2310 ซึ่งทำให้พระราชวังแห่งนี้ถูกปล่อยให้รกร้างไป

รำพึงพายตามสายกระแสเชี่ยว | ยิ่งแสนเปลี่ยวเปล่าในฤทัยถวิล | |
สักครู่หนึ่งก็มาถึงบางเกาะอิน | กระแสสินธุ์สายชลเป็นวนวัง |
อันเท็จจริงสิ่งนี้ไม่รู้แน่ | ได้ยินแต่ยุบลในหนหลัง | |
ว่าที่เกาะบางอออินเป็นถิ่นวัง | กษัตริย์ครั้งครองกรุงศรีอยุธยา |
ในรัชสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว พระองค์ทรงพิจารณาเห็นว่า บางปะอินเป็นเกาะกลางน้ำ มึความเงียบสงบ มีเส้นทางการเดินเรือได้หลายทาง สมบูรณ์ด้วยพืชพันธุ์ธัญญาหาร และเป็นสถานที่เสด็จประพาสของพระบรมชนกนาถ จึงทรงพระกรุณาโปรดเกล้าฯ ให้สร้างพระที่นั่งและสิ่งก่อสร้างต่าง ๆ สำหรับแปรพระราชฐานดังที่ปรากฏให้เห็นอยู่ในปัจจุบันนี้