La commune du Château d'Oléron est située sur la côte sud-est de l'île d'Oléron, seconde plus grande île de France métropolitaine, dans le département de la Charente-Maritime. La ville est entourée au sud par la commune de Saint-Trojan-les-Bains, au sud-ouest par Bourcefranc-le-Chapus (sur le continent), au nord par Dolus-d'Oléron, et à l'ouest par Le Grand-Village-Plage.