El pueblo de Rivilla de Barajas se encuentra en las tierras llanas de la Moraña, en las proximidades de Fontiveros, en medio de campos abiertos. 

Su término municipal está atravesado por la autovía A50 y dista 44 km de Ávila, 65 km de Salamanca y 155 km de Madrid.

Aldea de origen medieval, aparece citada documentalmente por primera vez en 1250 formando parte del cabildo de Zapardiel, uno de los territorios en que, a efectos de consignación de rentas, estaba organizada la diócesis de Ávila.

A efectos políticos, administrativos y judiciales, era lugar del rey. Dependía directamente de la jurisdicción del concejo de Ávila y formaba parte del sexmo de Covaleda, uno de los siete sexmos en que estaba dividida la tierra de Ávila.

Sin embargo, en el siglo XVII el rey vendió su jurisdicción y sus alcabalas y Rivilla de Barajas quedó convertido hasta el siglo XIX en lugar de señorío.

En su término municipal se encuentra el castillo de Castronuevo, perteneciente a la Casa de Alba.