Die Stadt ist die nördlichste Einheitsgemeinde im Landkreis Mansfeld-Südharz, sie liegt zwischen Hettstedt im Süden und Aschersleben im Norden und besteht aus 12 Ortsteilen. Der westliche Teil Arnsteins liegt im Harz, der östliche im Harzvorland. Im Westteil haben sich die Bäche tiefe, verzweigte und an einigen Stellen auch steile Täler gegraben.