Στην είσοδο του λιμανιού, εκεί που τελειώνει ο δυτικός μόλος, δεσπόζει ένα επιβλητικό φρούριο. Κατά τη Βενετοκρατία ήταν γνωστό με τα ονόματα Rocca a Mare ή Castello a Mare ή Castello, δηλαδή φρούριο στη θάλασσα. Επικράτησε τελικά να ονομάζεται Κούλες όνομα που προέρχεται από την τούρκικη ονομασία Su Kulesi.
Θεμελιώθηκε την τρίτη δεκαετία του 16ου αιώνα πάνω σε μια μικρή βραχώδη έξαρση όπου παλιότερα υπήρχε ένας ψηλός στρογγυλός πύργος με επάλξεις. Επειδή η επάνω επιφάνεια της βραχώδους έξαρσης, όπου χτίστηκε το φρούριο, ήταν αρκετά μικρότερη οι Βενετοί αναγκάστηκαν να συμπληρώσουν την έκταση του φυσικού βράχου με αποθέσεις μεγάλων ποσοτήτων φερτών
βράχων και ογκόλιθων.
Το υλικό αυτό μεταφερόταν κυρίως από το νησάκι Ντία και την περιοχή των Φρασκιών. Συνήθως γέμιζαν με πέτρες παλιά, άχρηστα πλοία και τα βύθιζαν μαζί μετο φορτίο τους στη βόρεια και δυτική πλευρά του βράχου για να αυξηθεί η επιφάνειά του και να δημιουργηθεί κυματοθραύστης όπου θα έσπαγαν τα κύματα κ αι θα μειονόταν η ορμή τους. Το φρούριο έχει τη μορφή ενός τετραπλεύρου με ένα έντονα προβαλόμενο τμήμα, σε σχήμα ημικυκλίου στη Β.Α. πλευρά. Η δόμηση έχει γίνει από ισχυρότατη τοιχοποιία. Το πάχος των εξωτερικών τειχωμάτων στη στάθμη του ισογείου από τις τρεις πλευρές φτάνει τα 8,70 μ. ενώ από τη μια πλευρά 6,96 μ. Οι εσωτερικοί διαχωριστικοί τοίχοι έχουν πάχος, ανάλογα με το σημείο στο οποίο βρίσκονται, από 1,36 ως 3,0 μ. Η οροφή του iσογείου διαμορφώνεται με ένα σύστημα θόλων στους οποίους ανοίγονται μεγάλες οπές ε ξαερισμού και φωτισμού που κατέληγαν στο δώμα.
Η είσοδος του φρουρίου ανοίγεται στη δυτική πλευρά. Εκεί κατέληγε ο δυτικός μόλος ο οποίος ξεκινούσε από την Πύλη του μόλου . Η είσοδος ήταν προσεκτικά προστατευμένη: τρεις ξύλινες ισχυρές πόρτες υπήρχαν στο θολοσκεπή και ελαφρά κατηφορικό διάδρομο, ο οποίος οδηγούσε στο εσωτερικό του φρουρίου.
Η κύρια δύναμη πυρός του φρουρίου είχε συγκεντρωθεί στο ισόγειο. Kανονιοθυρίδες είχαν δημιουργηθεί στα εξωτερικά τοιχώματα. Στο ισόγειο υπήρχαν μια μεγάλη δεξαμενή νερού, μια φυλακή και διάφοροι αποθηκευτικοί χώροι τροφίμων και πολεμοφοδίων. Στο δώμα του φρουρίου οδηγούσαν δύο
διαβάσεις που ξεκινούσαν από τον κεντρικό διάδρομο. Ένα κεκλιμένο επίπεδο απ' όπου οι Βενετοί ανέβαζαν, σύροντας, τα κανόνια και τα άλλα εφόδια
και ένα κλιμακοστάσιο. Το δώμα είχε διαμορφωθεί ως μια ευρεία πλατεία στην οποία υπήρχε ένα φαρδύ parapetto.
Στο φρούριο λειτουργούσε μύλος και φούρνος, που κάλυπταν τις ανάγκες της φρουράς, καθώς και μια εκκλησία. Υπήρχαν ακόμη χώροι κατάκλησης και φρουράς και κατοικίες των αξιωματικών και του διοικητή του οχυρού. Το ενέτικο φρούριο Κούλε αξίζει να αναφέρουμε οτι είναι το πιο φωτογραφημένο σημείο της πόλης και το κατατεθέν με το που έρχεσαι με το πλοίο της γραμμής στο λιμάνι του Ηρακλείου.
Το ιστορικό φρούριο του Κούλε μετά από 5,5 χρόνια ανοιξε και πάλι τις πύλες του στους πολίτες. Υπενθυμίζεται ότι το Υπουργείο Πολιτισμού και Αθλητισμού και η Εφορεία Αρχαιοτήτων Ηρακλείου ανακοίνωσαν πρόσφατα ότι το Θαλάσσιο Ενετικό Φρούριο Rocca a Mare (Κούλες) Ηρακλείου θα ανοίξει ξανά τις πύλες του για το κοινό.
Το Φρούριο παρέμεινε κλειστό από τα τέλη του 2010, λόγω εργασιών αποκατάστασης και ανάδειξης που χρηματοδοτήθηκαν από το Πρόγραμμα Ανταγωνιστικότητα & Επιχειρηματικότητα του ΕΣΠΑ 2007-2013 με το ποσό των 2.050.000 και εκτελέστηκαν από την Επιστημονική Επιτροπή Ανάδειξης Οχυρώσεων Κρήτης υπό τη διεύθυνση αρχικά του Ταμείου Διαχείρισης Πιστώσεων για την Εκτέλεση Αρχαιολογικών Έργων του ΥΠΠΟΑ και εν συνεχεία από τη 13η Εφορεία Βυζαντινών Αρχαιοτήτων (νυν Εφορεία Αρχαιοτήτων Ηρακλείου).
Οι εργασίες περιελάμβαναν τη στερέωση και αποκατάσταση του μνημειακού κελύφους, την αντικατάσταση και αναβάθμιση των υποδομών εξυπηρέτησης κοινού και τη δημιουργία επισκέψιμων εκθεσιακών χώρων και χώρων πληροφόρησης και υποδομών πολιτιστικών δραστηριοτήτων.
Στους υποβλητικούς χώρους του φρουρίου είναι επισκέψιμα για πρώτη φορά τα ευρήματα από τα ναυάγια της υποβρύχιας έρευνας που πραγματοποίησε στη νησίδα Ντία, ο θρυλικός Γάλλος ερευνητής Jacquesm Yves Cousteau, το 1976, υπό την εποπτεία και την καθοδήγηση πρωτοπόρων Ελλήνων ενάλιων αρχαιολόγων του τότε Υπουργείου Πολιτισμού και Επιστημών. Η έκθεση ευρημάτων ναυαγίων υλοποιήθηκε σε συνεργασία με την Εφορεία Εναλίων Αρχαιοτήτων.
