พระพุทธโฆษาจารย์คือพระราชาคณะฝ่ายคามวาสีฝ่ายขวา เทียบได้กับเจ้าคณะใหญ่คณะเหนือและคณะกลางในสมัยรัตโนโกสินทร์ ภายในตำหนักมีจิตกรรมฝาผนังศิลปะอยุธยาตอนปลาย ผนังทิศเหนือเป็นภาพวาดเรื่องไตรภูมิพระร่วง ทิศใต้เรื่องมารผจญ ทิศตะวันออกเป็นภาพพระพุทธบาททั้ง 5 และทิศตะวันตกเป็นภาพทศชาติ

ตำหนักพระพุทธโฆษาจารย์ ตั้งอยู่ริมแม่น้ำเจ้าพระยาทางด้านทิศใต้ของเกาะเมือง สร้างขึ้นในบริเวณเวียงเหล็ก หรือเวียงเล็ก สมเด็จพระเจ้าอู่ทอง โปรดให้สร้างขึ้นในปี พ.ศ. 1896 เพื่อเป็นที่ระลึกตรงบริเวณที่พระองค์เคยเสด็จมาตั้งพระนครอยู่ก่อนสร้างกรุงศรีอยุธยา และได้สถาปนาวัดพุทไธศวรรย์ขึ้นเป็นอนุสรณ์ถึงความสำคัญของพื้นที่

บริเวณนี้ปัจจุบันวัดพุทไธศวรรย์ยังมีโบราณสถานเหลืออยู่จำนวนมาก เช่น ปรางค์องค์ใหญ่ วิหารครอบพระปรางค์และตำหนักสมเด็จพระโฆษาจารย์ ซึ่งสร้างครั้งกรุงศรีอยุธยา ที่ผนังตำหนักสมเด็จพระโฆษาจารย์ มีภาพเขียนสีเรื่องทศชาติชาดก กับเรื่องสมเด็จพระโฆษาจารย์ไปนมัสการพระพุทธบาทที่ลังกาทวีป ภาพเหล่านี้มีความงดงาม แต่ปัจจุบันลบเลือนไปเกือบหมดแล้ว

ในปัจจุบันวัดนี้ได้รับปฏิสังขรณ์ยอดปรางค์อีกครั้งหนึ่งในสมัยรัชกาลที่ 5 พ.ศ. 2441 โดยชาวอยุธยาได้ร่วมบริจาคเงินซ่อม และในปี พ.ศ. 2512
กุฏิสมเด็จพระพุทธโฆษาจารย์ได้รับการซ่อมแซมจากกรมศิลปากร
วัดพุทไธศวรรย์ได้ประกาศขึ้นทะเบียนในราชกิจจานุเบกษาเล่ม 52 ตอนที่ 75
วันที่ 8 มีนาคม 2478
พบ 1.พระปรางค์
2.ระเบียงคต
3.พระอุโบสถ
4.ตำหนักสมเด็จพระพุทธโฆษาจารย์
5.พระกัจจายนะ
6.ภาพจิตกรรมฝาผนังในตำหนักสมเด็จพระพุทธโฆษาจารย์
ที่มา : http://culturalenvi.onep.go.th/site/detail/3335