ตั้งอยู่ริมแม่น้ำป่าสัก ตะวันออก หรือริมปากคลองข้าวสารฝั่งใต้ 
ตรงกันข้ามกับ วัดรัตนชัย (วัดจีน) ในท้องที่ ต.กะมัง 
อ.พระนครศรีอยุธยา จ.พระนครศรีอยุธยา 
มีเนื้อที่ทั้งหมดประมาณ ๙ ไร่

จากการสันนิษฐานเกี่ยวกับสถานที่ตั้งวัด ท่านผู้รู้ได้กล่าวไว้ว่า เมื่อประมาณกว่า ๓๐๐ ปีล่วงมาแล้ว ทางด้านทิศตะวันตกของ วัดเกาะแก้ว คือทาง แม่น้ำป่าสัก ทุกวันนี้ ที่ตั้งของวัดมีอาณาเขตกว้างขวางกว่าปัจจุบันนี้มาก เนื่องจากทาง วัดเกาะแก้ว ตั้งอยู่ริมน้ำลำคลองดังกล่าวมาแล้ว ประกอบกับบริเวณนี้เป็นท้องคุ้ง โดยเฉพาะที่ ปากคลองข้าวสาร เมื่อถึงฤดูน้ำ น้ำจะไหลเชี่ยวอย่างรุนแรง และมีลักษณะม้วนเป็นน้ำวน จึงทำให้กระแสน้ำกัดเซาะตลิ่งพังลงไปทุกปี ๆ พระอุโบสถหลังเก่าก็ถูกน้ำกัดเซาะพังลงไปในแม่น้ำทั้งหลัง จึงทำให้บริเวณพื้นที่ของวัดแคบลงโดยลำดับ

ปัจจุบันทางวัดได้รวบรวมอาณาเขตของวัดร้างบริเวณใกล้เคียงอีกวัดหนึ่ง เข้าด้วยกันทำให้อาณาเขตของวัดกว้างขึ้นอีก วัดร้างที่รวมเข้ากับ วัดเกาะแก้ว ก็คือ วัดปราสาท ปัจจุบันยังมีซากอุโบสถซึ่งเหลือแต่ผนังทั้ง ๔ ด้าน มีประตูและหน้าต่างปรากฏอยู่   เพื่อประโยชน์ในด้านความรู้ทางด้านประวัติศาสตร์ และโบราณคดีเกี่ยวกับภูมิสถานที่ตั้งของ วัดเกาะแก้ว จึงขอแทรกเรื่องราวของแม่น้ำป่าสักไว้สักเล็กน้อย กล่าวคือ ตั้งแต่ท้ายวัดพนัญเชิง ในท้องที่ ตำบลคลองสวนพลูขึ้นไป เดิมเป็นคูเมืองพระนครศรีอยุธยา เรียกว่า ขื่อหน้า หรือ คูขื่อหน้า ในพระราชพงศาวดารหลายฉบับกล่าวไว้ตรงกันว่า ตรงบริเวณเกาะแก้วนั้นมีแต่คู หาแม่น้ำกั้นมิได้ ในแผ่นดินสมเด็จพระมหาจักรพรรดิ ระหว่างปีพุทธศักราช ๒๐๙๑ ถึงปีพุทธศักราช ๒๑๑๒ ยังเป็นคูแคบ ๆ ครั้นในรัชสมัย สมเด็จพระมหาธรรมราชาธิราช กองทัพของพระเจ้าหงสาวดีบุเรงนอง ได้ถมถนนเข้ามาตี กรุงศรีอยุธยา เมื่อปีพุทธศักราช ๒๑๑๒ ต่อมา ในปีพุทธศักราช ๒๑๑๒ แผ่นดินของสมเด็จพระมหาธรรมราชาธิราช จึงโปรดเกล้าฯ ให้ขุดลำน้ำขยายให้กว้างไปเป็น ๑๐ วา และในเวลานั้น สายน้ำแควลพบุรี ซึ่งเดิมลงมาทางบางพระครู  ผ่านนครหลวง มาเลี้ยวลงที่คลองบ้านม้า คลองหันตรา ออกสู่ปากน้ำแม่เบี้ย ที่บางกะจะใต้วัดพนัญเชิง  ส่วน แม่น้ำป่าสัก เมื่อลงมาจากทางเหนือถึง บ้านอรัญญิก อำเภอนครหลวง แล้วลงทาง บ้านพระแก้ว ผ่านทางรถไฟทางตะวันออก ลงมาทางหน้าที่ว่าการ อำเภออุทัย ไป บ้านช้าง บ้านซ้องแมว และ บ้านสร้าง ออกลำน้ำเจ้าพระยาที่ บ้านโพในท้อง ทีอำเภอบางปะอิน ด้วยสาเหตุที่สายน้ำตามลำน้ำใหญ่ทั้งสองสายนี้ ยังไม่มีทางทะลุผ่านมาทาง พระราชวังจันทรเกษม (วังหน้า) ลำขื่อหน้า จึงเป็นแต่เพียง คูเมืองพระนครศรีอยุธยา

ต่อมา แม่น้ำป่าสัก (หันตราแม่เบี้ย) เกิดเปลี่ยนแปรแคบเขินเพราะมีการขุดคลองลัดขึ้นอีกที่ ตำบลบ้านม้า ศาลาเกวียน ผ่าน หน้าวัดตองปุ วัดป่าโค และ วัดช่องลม (ร้าง) มาข้างเหนือ วัดมณฑป ซึ่งติดกับ คูขื่อหน้า (คูเมืองพระนครศรีอยุธยา) คลองลัดนี้เองภายหลังต่อมาน้ำไหลแรงเซาะกัดกว้างใหญ่ ตลอดจนคูหน้าขื่อก็ถูกเซาะกว้างไปด้วย จึงถูกเรียกกันในปัจจุบันว่า แม่น้ำป่าสักส่วนคำว่า เกาะแก้ว นั้นมีชื่อปรากฏในพระราชพงศาวดารเป็นครั้งแรกในแผ่นดิน สมเด็จพระมหาจักรพรรดิ เรียกว่า คลองเกาะแก้ว บ้าง มุมเกาะแก้ว บ้าง ตรงบริเวณ เกาะแก้ว นั้นมีถนน และกำแพงเรียกว่า ถนนมุมเกาะแก้ว กำแพงเกาะแก้ว และเข้าใจว่าบริเวณแห่งนี้ คงจะเป็นเกาะๆ หนึ่ง จึงเรียกว่า เกาะแก้ว มาจนทุกวันนี้ สำหรับ วัดเกาะแก้ว นั้นน่าจะสร้างขึ้นภายหลังในรัชกาลใดรัชกาลหนึ่ง และน่าจะสร้างขึ้น เมื่อมีแม่น้ำป่าสักไหลผ่านหน้าวัดแล้ว

ณ บริเวณ เกาะแก้ว แห่งนี้มีเหตุการณ์ที่สำคัญๆ ที่พงศาวดารบันทึกไว้หลายครั้ง เช่น เมื่อปีพุทธศักราช ๒๑๑๒ ในแผ่นดิน สมเด็จพระมหินทราธิราช เมื่อกองทัพพม่าเข้ามาตั้งล้อมกรุงแล้ว พระเจ้าหงสาวดี เรียกแม่ทัพทั้งปวงมาประชุมปรึกษาการที่จะตีกรุงศรีอยุธยา ฝ่าย พระมหาอุปราชา เห็นว่ากำลังกองทัพ ที่ยกมามีมากมาย ควรจะเข้าตีหักเอาพระนครให้พร้อมกันทุกด้าน เพราะนานวันจะเกิดความลำบากด้วยเสบียงอาหาร และอีกประการหนึ่ง ถ้าถึงฤดูฝน ก็จะทำการไม่สะดวก จึงเห็นควรรีบเข้าระดมตีเอา กรุงศรีอยุธยา เสียให้ได้โดยเร็ว ส่วน พระเจ้าหงสาวดี ไม่เห็นชอบด้วย ตรัสว่า กรุงศรีอยุธยา มีแม่น้ำล้อมรอบเป็นที่มั่นคงไม่เหมือนเมืองอื่น ๆ การที่ให้จัดการป้องกันบ้านเมืองก็ตระเตรียมไว้เป็นอย่างสามารถ ถึงคนน้อยก็อาจจะสู้คนมากได้ ถ้ายกเข้าตีพร้อมกันทุกด้านจะเสียรี้พลล้มตายมากนัก ฉวยตีไม่ได้ก็จะพากันเสียข้าศึกทุกทัพ จำจะต้องคิดอ่านตึกตรองโดยวิธี ถึงจะช้าวันไปก็อย่าให้มีทีท่า ที่จะเสียข้าศึกจึงจะชอบ จึงกะการให้เข้าตีพระนครแต่ข้างด้านตะวันออกด้านเดียวด้วยคูเมืองยังแคบดัง กล่าวมาแล้ว ด้านอื่นๆ เป็นเพียงแต่ล้อมไว้ให้มั่นคง พระเจ้าหงสาวดี จึงยกค่ายลงมาตั้งใกล้กับ วัดมเหยงค์ ข้างด้านตะวันออก โดยให้กองทัพของ พระมหาธรรมราชา ไปเที่ยวตัดต้นตาลส่งมาให้มาก แล้วให้ พระมหาอุปราชา เป็นผู้อำนวยการตีพระนคร ให้ตั้งค่ายแนวแรกห่างคูเมืองออกไปประมาณ ๓๐ เส้นก่อน อาศัยค่ายนั้นตัดเตรียมการพร้อมแล้ว ก็ให้รุกเข้ามาตั้งค่ายอีกแนวหนึ่ง ห่างจากค่ายเดิมเข้ามาประมาณ ๑๐ เส้น ขุดดินทำสนามเพลาะและถมเชิงเทิน จากนั้นให้เอาไม้ตาลปักรายเป็นเสาระเนียดกัน ปืนที่ยิงออกไปจากกรุง พวกหงสาวดีที่เข้ามาตั้งค่ายถูกชาวพระนครเอาปืนใหญ่ยิงล้มตายเป็นอันมาก จะยกเข้ามาทำการในกลางวันไม่ได้ ต้องลอบเข้ามา ตั้งค่ายต่อในเวลากลางคืน เจ้าหน้าที่ในพระนคร ก็แต่งกองอาสาทะลวงฟันสู้รบกันมิได้ขาด พระเจ้าหงสาวดี ต้องให้ไพร่พลมาเพิ่มเติมอีกจำนวนมาก จึงตั้งค่ายแนวที่สองลงได้

พระตำหนักสมเด็จพระเจ้าตากสินมหาราช

ยาวของค่ายทำแต่ในเวลากลางคืน พยายามอยู่กว่าสองเดือน จึงเข้ามาตั้งค่ายแนวที่สามได้ถึงคูเมือง แต่ก็มาติดอยู่เพียงนั้น ด้วยไทยยังอาศัยเรือรบช่วยป้องกันพระนครได้ พวกหงสาวดีจะข้ามคูเมืองเข้ามาก็ถูกไทยยิงล้มตายถอยกลับออกไปหลายครั้ง พระเจ้าหงสาวดี จึงสั่งให้กองทัพเรืออ้อมลงมาทาง สะพานเผาข้าว (คลองสีกุก) ออกมาทาง บางไทร ลงมาตั้งตรวจตรารักษา แม่น้ำเมืองธนบุรี เมืองนนทบุรี คอยสกัดเรือที่จะเข้ามาช่วยในพระนคร  ส่วนพม่าทางพระนคร เร่งระดมคนเข้าถมทำทางเพื่อข้ามเข้ามาตีพระนคร โดยให้แบ่งหน้าที่กันเป็น ๓ ตอน ตอนใต้ ให้กองทัพของ พระมหาอุปราชา ถมคูทำทางเข้ามาตรงเกาะแก้ว ทาง ๑ ตอนกลางให้ พระเจ้าแปร คุมพลทำทางข้ามคูเข้ามาทาง วัดจันทน์ ตรง บางเอียน (หลังสถานีรถไฟอยุธยา) ทาง ๑ ตอนเหนือให้ พระเจ้าอังวะ ถมคูทำทางเข้ามาทาง สะพานเกลือ (ใต้พระราชวังจันทรเกษม) อีกทาง ๑ พระเจ้าหงสาวดี คาดโทษว่า ถ้าด้านไหนทำไม่สำเร็จจะเอาโทษแม่ทัพถึงชีวิต พระมหาอุปราชา พระเจ้าแปร และ พระเจ้าอังวะ ต่างเกรงพระราชอาญา จึงพากันเอาไม้ตาลมาทุบพอบังตัวไพร่พล แล้วเร่งรีบขับต้อนเข้ามาถมคลอง ชาวพระนครเอาปืนยิงตายเสียมาก พวกหงสาวดีก็ยังขับกันหนุนเนื่องเข้ามา คนข้างหน้าตายลง คนมาข้างหลังก็เอาดินถมทับศพเลยมา ด้วยความกลัวอาญาพระเจ้าหงสาวดีเป็นกำลัง

ในขณะเดียวกัน สมเด็จพระจักรพรรดิ ทรงพระประชวร และเสด็จสรรคต ส่งผลให้ชาวพระนครตกอยู่ในอาการเศร้าหมอง และรู้สึกว้าเหว่ พระยารม พระยากลาโหม และ พระมหาเทพ เห็นว่าไพร่พลพากันย่อท้อรักษาค่ายริมคูเมืองไว้ไม่ได้ จึงสั่งให้กองทัพถอยเข้ามา ตั้งค่ายอีกแนวหนึ่งข้างในพระนคร เอากำแพงเมืองเป็นแนวหน้าต่อสู้ข้าศึก พระเจ้าหงสาวดี เห็นได้ที สั่งกำลังพลเข้าตีพระนครทางด้านตะวันออกพร้อมกัน ข้าศึกเข้าเมืองได้ตรง เกาะแก้ว แต่ พระมหาเทพ ผู้รักษาค่ายตรงบริเวณนั้น มีความเข้มแข็งในการศึก ได้ใช้แนวค่ายที่ทำขึ้นใหม่ เป็นที่มั่น ต่อสู้กับข้าศึก พวกหงสาวดีล้มตายลงเป็นอันมาก ครั้นหักตีเอาพระนครไม่ได้ จำต้องถอยร่นข้ามคูกลับไป ใน จดหมายเหตุพรรณนาภูมิลำเนาสถานกรุงศรีอยุธยา กล่าวออกชื่อ วัดเกาะแก้ว ไว้ตอนหนึ่งมีใจความว่า แส ด้านขื่อบรรภ์ทิศ แต่หัวรอมาถึงเรือจ้างข้ามไปวัดสะพาน เกลือ ๑ เรือจ้างข้ามออกไปวัดนางชี ๑ เรือจ้างข้ามออกไปวัดพิชัย ๑ เรือจ้างข้ามออกไป วัดเกาะแก้ว ๑ ด้านขื่อทิศบรรภ์ห้าแห่งทั้งหัวรอ เมื่อพิจารณาตามจดหมายเหตุฉบับนี้ จะเห็นได้ว่า ในสมัย กรุงศรีอยุธยา เป็นราชธานี วัดเกาะแก้ว คงจะเป็นท่าเรือจ้างสำหรับประชาชนพลเมือง ข้ามฟากไปมาเป็นประจำ และคงจะเป็นวัดที่มีชื่อเสียง หรือมีความสำคัญอีกวัดหนึ่ง

วัดเกาะแก้ว มีความเกี่ยวเนื่องกับ สมเด็จพระเจ้ากรุงธนบุรี มหาราช กล่าวคือ ในปีพุทธศักราช ๒๓๐๑ วัดเกาะแก้ว เคยเป็นที่ตั้งค่ายของกองทัพไทย ค่ายหนึ่งใน ๙ ค่ายด้วยกัน คือ 

ด้านเหนือ ตั้งค่ายที่ วัดหน้าพระเมรุ และ เพนียดคล้องช้าง 
ด้านตะวันออก ตั้งค่ายที่ วัดมณฑป และ วัดเกาะแก้ว (พระยาวชิรปราการ)
ด้านใต้ ตั้งค่ายที่ บ้านสวนพลู (หลวงอภัยพิพัฒน์  ขุนนางจีน คุมพวกจีน บ้านในไก่ จำนวน ๒,๐๐๐ คน) วัดพุทธไธสวรรย์ (พวกคริสตัง)
ด้านตะวันตก ตั้งค่ายที่ วัดไชยวัฒนาราม (กรมอาสาหกเหล่า)