El 1 de noviembre de 1980, un grupo de devotos gaditanos se dirigieron a Sevilla, concretamente a la calle Castelar 52, donde Ortega Bru tenía su taller. Allí les aguardaba el imaginero sanroqueño con una talla de Jesús, que tomaría del nombre del Santísimo Cristo del Silencio en el Desprecio de Herodes.
Una vez llegada la imagen a Cádiz desde el taller de Ortega Bru, el Señor del Silencio comienza a recibir la visita de los fieles en la casa de hermandad que poseía la Asociación de devotos creada al efecto, que se encontraba en la calle Benjumeda. Comienza a extenderse por la feligresa de San Antonio la devoción al Señor, y el por entonces párroco de San Antonio decide ofrecerles a los miembros de la Junta Pro-Cultos del Señor del Silencio la posibilidad de que la imagen se estableciera en la céntrica iglesia.
Todo parecía ir sobre ruedas, hasta que hubo un cambio de párroco en San Antonio y todo comenzó a torcerse. Pareció no caerle en gracia que se formase una Hermandad, pese a tener un amplio grupo de fieles tras él. Con esta actitud de desprecio del párroco y tras un tiempo de debate, la imagen de Jesús del Silencio es trasladada a Córdoba.
Cuarenta años después, la imagen recibe culto en Córdoba, pero mantiene una gran relación con Cádiz, ya que allí se encuentra Primitivo Grupo de Devotos, que trabajó y luchó por traer esa imagen a su ciudad. Algunos componentes de dicho primitivo grupo han querido mostrar con unas bellas palabras cómo fue su llegada aquel día de Todos los Santos de 1980:
«Cuando ya vimos al Cristo en el local, nos emocionamos mucho porque nos dimos cuenta de que habíamos cumplido un sueño y que ya era algo nuestro».
«Fue un día muy esperado, un día de mucho nerviosismo, porque no sabíamos qué nos íbamos a encontrar. Cuando llegó nos dejó iluminados…»
«El local estaba oscuro, para tener un ambiente más íntimo; encendimos unas velas y una vez que se puso de pie el Cristo, le quitaron la tela, y a pesar de no estar bendecido, tuvimos un momento de oración.»
«Satisfacción, emoción, nerviosismo y una felicidad inmensa».
«Cuando él llegó, yo me sentí con una tranquilidad muy grande. Su luz, desde aquel día, ilumina toda mi vida».
«Devoción, hermandad, y ante todo y por siempre amistad. Algo que parecía un final y fue un principio».
