Το βενετσιάνικο φρούριο της Φορτέτζας είναι κτισμένο πάνω στο λόφο του Παλαιοκάστρου, στα δυτικά της σημερινής πόλης. Στο λόφο αυτό υπήρχε η ακρόπολη της αρχαίας πόλης της Ρίθυμνας και το ιερό της Ροκκαίας Αρτέμιδος. Τα λαξεύματα που εντοπίστηκαν σε διάφορα σημεία του λόφου, μαρτυρούν την ύπαρξη της ακρόπολης πάνω στο βράχο. Ο οικισμός μάλλον βρισκόταν κοντά στο λιμάνι. Ωστόσο δεν έχουμε στοιχεία ούτε για τη μορφή του οικισμού, ούτε για τη μορφή της ακρόπολης και του ιερού.
