Der Col d’Olivier liegt am westlichen Ende des Grand Canyon du Verdon, an der D952 an der Nordseite der Schlucht. In der direkten Verlängerung Richtung Osten liegt der Col d’Ayen.