El pueblo de Puerto Castilla está organizado en tres barrios: barrio de Abajo, de “En medio” y de Arriba.

La trama urbana del barrio de Abajo, el más poblado, está organizada en torno a la travesía de la carretera Ávila - Plasencia.

La iglesia bajo la advocación de la Visitación, en el barrio de Abajo, ha sido recientemente reconstruida y presenta torre exenta a los pies, como otros muchos pueblos de la comarca del Tormes.