La Torre del Castellà era el lloc on el representant del Castellà d’Amposta feia efectius els drets del seu senyor, recollint els delmes.

A la sortida del carrer de Sant Pol, on hi havia un portal d’arc dovellat flanquejat per dues torres i coronat per la capella dedicada a Sant Hipòlit, hi baixa el carrer de Ponent. En plena costa i a mà dreta, hi trobem la Torre del Castellà, un edifici del segle XVI, força malmès sobretot a partir de la desamortització, quan es va vendre dividint l’edifici entre tres famílies. En aquest casal noble, on encara es pot veure un finestral d’estil gòtic tardà, s’hostatjava el Gran Castellà d’Amposta, senyor de la vila, com també els seus enviats i representants.

Un dels seus representants fou Joan d’Heredia, un infançó amb heràldica dels Castellans d’Amposta i dels Heredia. Aquest s’encarregava d’administrar els drets que li corresponien i de fer-los present al seu senyor. En aquest cas, tal com manava l’Ordre de Sant Joan de Jerusalem, els vilatans i mercaders havien de fer entrega d’una desena part de les seues collites o mercaderies, en concepte de delme. Aquesta torre, doncs, servia a més de vivenda com a punt de recollida i emmagatzematge dels fruits provinents d’aquests pagaments.

Però arriba un moment en què a l’Ordre de l’Hospital li interessa vendre béns propis. I és així com el mateix Joan d’Heredia compra aquesta torre i passa a ser propietat privada seua. Probablement també digué tenir funcionalitat com a torre defensiva, ja que es trobava a la vora de les vies de comunicació entre Aragó i Catalunya.