Infestado el mar de las Antillas de piratas, mostraban especial predilección por las costas de Cuba. No contentos con atacar las embarcaciones de alto bordo y las dedicadas al cabotaje, atrevíanse a hacer desembarcos en la isla y saquear sus haciendas y poblados, llegando en su osadía hasta a penetrar, en los primeros tiempos coloniales, en La Habana, Santiago de Cuba y otras poblaciones de importancia.
La época y el estado indefenso de la isla eran propicios para tales desafueros. El oficio de bandido de mar era remunerador, y los peligros no tantos que lo hicieran inapetecible. España no disponía de buques suficientes para perseguir de modo activo a los piratas, y éstos, por otra parte, tenían buenas guaridas en islas y cayos.
El puerto de Jagua era muy visitado por los piratas caimaneros. Su gran extensión, de más de 56 millas cuadradas y especial naturaleza, favorecían las visitas, que nada tenían de agradables para los establecidos en aquellos parajes. Los piratas podían internarse con impunidad dentro de la bahía y permanecer ocultos en las numerosas ensenadas todo el tiempo que les convenía. Fiados en su número y armas, iban de excursión por los alrededores, robando y saqueando bohíos y haciendas, y llevándose en rehenes a los pobladores que caían en su poder, y no los soltaban sin previo y a veces crecido rescate.
Para evitar tan peligrosas incursiones, tratóse en 1682 de fortificar el puerto de Jagua, proyecto que no se llevó a la práctica hasta 1742, erigiéndose sobre una pequeña altura, en la parte Oeste del cañón de entrada, donde forma recodo, el "Castillo de Nuestra Señora de los Angeles" conocido hoy con el breve nombre de "Castillo de Jagua".
Dirigió su construcción el ingeniero militar Don José Tantete y no se concluyó hasta 1745. Se le dotó de diez cañones de diverso calibre, suponiendo eran bastantes para ahuyentar a los buques piratas. Pero no se contó que éstos disponían de pequeñas embarcaciones, y que podían introducirse dentro de la extensísima bahía por una de las bocas del Arimao, río que tiene dos brazos, uno que desagua en el mar y otro, conocido por "Derramadero de las Auras", que se dirige a la Laguna de Guanaroca, y comunica por un estero con la bahía.
Y sucedió que a pesar del Castillo y de sus cañones, los atrevidos piratas seguían haciendo de las suyas con toda impunidad en la bahía, continuando en sus fechorías sin correr grandes peligros. Para cerrarles aquel camino, hubo de construirse una palizada -de la que todavía quedan vestigios- que cubría el "Derramadero de las auras", logrando así verse al fin libre la bahía de las periódicas e inconvenientes visitas de los piratas.
Fué reputado el Castillo de Jagua, en su tiempo, como fortificación bastante buena, ocupando el tercer lugar entre las de la Isla, correspondiendo el primero y segundo, respectivamente, al Castillo del Morro de La Habana, y al de Santiago de Cuba. Hoy los tres castillos solo tienen valor como monumentos históricos.
Puestos a hacer historia, antes de entrar en la leyenda, no estará de más decir que el primer Comandante del Castillo de Jagua, lo fué Don Juan Castilla Cabeza de Vaca, no sabemos si descendiente de aquel famoso Cabeza de Vaca, explorador y conquistador, pero si de que su esposa Doña Leonor de Cárdenas fue enterrada en la Capilla del Castillo y diez años más tarde lo fué allí también el Primer Capellán del mismo, Pbro. Don Martín Olivera.
Castilla además de militar, era hombre de negocios y de iniciativa. Fomentó el primer ingenio de azúcar en Jagua, que estableció en terrenos de la hacienda "Caunao", de que era condueño, sita a una legua de la bahía. Bautizó dicho ingenio con el nombre de "Nuestra Señora de la Candelaria"; con el trascurso de los años pasó a la sucesión de Doña Antonia Guerrero. Fué esta señora la esposa de Don Agustín Santa Cruz, quien donó los terrenos donde está edificada la ciudad de Cienfuegos.