Σύμφωνα με περιγραφή του Εβλιά Τσελεμπή, το κτήριο αυτό, που αποτέλεσε την κατοικία του Κιοπρουλή μετά την άλωση του Χάνδακα, ήταν τριώροφο, επιβλητικό και μεγαλοπρεπές οικοδόμημα που καταλάμβανε μεγάλη έκταση, δέσποζε των άλλων οικοδομημάτων και είχε θέα προς τη θάλασσα.
Έπεσε δύο φορές από σεισμό. Μετά το σεισμό του 1856 κτίστηκε ξανά, αρκετά μικρότερο και αποτέλεσε την «Πόρτα του Πασά» (Πασά Καπουσί). Χρησιμοποιούνταν ως Διοικητήριο και ως κατοικία αρκετών Πασάδων.
