Kalaja është ndërtuar mbi një gadishull në gjirin e vogël të Porto Palermos i cili në antikitet njihej me emrin gjiri i Panormes në rrugën që lidh Himarën me Qeparonë. Kalaja është ndërtuar nga Ali Pashë Tepelena mbi rrënojat e një kalaje të hershme venedikase. Ka formë planimetrike trekëndore me tre bastione të fuqishme nëpër qoshet. Përmasat e saj janë 150 m x 400 m dhe lartësia e mureve arrin në 20 m. Hyrja ndodhet në mesin e murit jugor. Nga ana e detit, midis dy bastioneve një sipërfaqe në formë trapezi është rrethuar me mure të pajisura me frëngji. Pjesa tjetër e kalasë përbëhet nga një numër i madh ambientesh të mbuluara me qemerë, të cilat përfundojnë në pjesën e sipërme me një tarracë të përbashkët. Ali Pasha e përdorte kalanë kryesisht si pikë ushtarake por dhe si burg, funksion ky i përdorur edhe nga komunizmi për të burgosit politike dhe familjet e internuara gjatë diktaturës.