Au 5e siècle avant J.-C., un poste de douane fut établi sur l'île où se trouve la tour de la Vierge et une tour fut construite pour inspecter les navires venant de la mer Noire et pour collecter les impôts.Au 12e siècle, une tour défensive fut construite sur l'île par l'empereur romain d'Orient Manuel Ier Comnène.Une chaîne fut tendue entre cette tour et une tour à côté du monastère de Mangana à Sarayburnu (la section où les digues maritimes ont été restaurées) pour contrôler l'entrée et la sortie des navires dans le Bosphore.Après la conquête, Fatih Sultan Mehmet fit construire un nouveau château ici.Il y plaça une unité de garde.Chaque soir après la prière nocturne et à l'aube, la fanfare des janissaires commençait à jouer la garde dans la tour.Il devint une tradition de tirer des canons depuis la tour de la Vierge pendant les fêtes religieuses et lorsque les sultans visitaient les palais côtiers lorsqu'ils montaient sur le trône.Un phare a été placé sur la partie nord de la tour en bois par le grand vizir du sultan Ahmed III, Nevşehirli Damat İbrahim Paşa, pour indiquer le chemin aux navires venant de la mer Noire et de Marmara la nuit.À partir de cette date, la tour ne servait plus de forteresse mais de phare