La Ermita de la Virgen del Rosario, patrona de Hellín se edificó en la ladera del Cerro del Castillo. Esta Ermita o Santuario es muy antigua, aparece citada junto con su cofradía en las Relaciones Topográficas de Felipe II en el año 1575, en las que el Rey pide a su Gobernador y Justicia Mayor en el Marquesado de Villena, D. Jerónimo de Briceño de Mendoza, una descripción e historia de las particularidades y cosas notables de este marquesado.
Para ello, se le envía una memoria con una serie de preguntas para que los Concejos y Justicias de los pueblos del Marquesado "informen muy bien sobre ello. Se les encarga que la envíen cada uno de ellos a su Secretario Juan Vázquez de Salazar a la mayor brevedad posible y que las respuestas sean lo más cumplidas, ciertas y verdaderas que sea posible".
En el capítulo 51 de dichas Relaciones Topográficas de Felipe II, capítulo que se refiere a la existencia de Iglesias y Ermitas, se dice "que en la dicha villa de Hellín, además de la Iglesia Parroquial, hay una ermita del Señor Santiago y la ermita del Señor San Sebastián, y la ermita de San Benito y San Blas y la ermita de Nuestra Señora de Gracia y la ermita de San Cristóbal y la ermita de Santa Bárbara, la ermita del Puerto y la Casa, y la ermita de Nuestra Señora del Rosario y Cofradía della y que en las dichas iglesias no hay reliquias ni milagros que hayan sucedido en ellas, ni tienen noticias de las devociones de ellas y que las dichas iglesias no tienen rentas, sino que de limosna se hicieron".
Vemos, pues, como entre otras ermitas citadas existentes en la época, aunque hoy desaparecidas, figura nuestra ermita del Rosario y su cofradía, la única cofradía que se cita en dichas Relaciones. Pero la antigüedad del santuario es mucho mayor, parece ser que el origen es una antigua mezquita musulmana situada junto a la plaza del zoco musulmán y muy próxima a una de las puertas principales de la ciudad, la Puerta de Alcaraz. Esta plaza del zoco todavía hoy se conserva en parte junto al ábside del Santuario y es conocida como Plaza del Pichón.