Vznik osady Kašperské Hory, který je možno datovat nejpozději na začátek 14. století, souvisel úzce se zdejší hornickou činností. Prvotní název obce, Reichenstein, vznikl z výrazu ,,am reichen stein - u bohaté skály´´ a protože se v dolech ,,reichensteinských´´ dolovalo po dlouhou dobu, byl ke jménu Reichenstein přidáván určovací člen Berg, tj. ,,hora, ve které se doluje´´.
Český název dostalo město podle blízkého hradu Kašperka (Karlsberg) staročesky Karlšperk i Kašperk, ke kterému v určitých časových obdobích jako panství náleželo. Hrad ležící na severovýchod od města se připomíná již v roce 1356, kdy císař Karel IV. přikázal Vítovi, řečenému Hedvábný, aby zde na obranu země vystavěl hrad. Kašperské Hory představovaly v předhusitské době spolu se svým okolím nejvýznamnější zlatonosný revír Českého království. Bylo zde v provozu téměř 40 dolů a řada štol. Revír zahrnoval ve směru V Z území od hory Ždánova po horu Křemelná v šíři asi 2 - 3 km. Jeho jádrem byla oblast jižně od města (údolí Zlatého potoka), kde dodnes nacházíme velmi zřetelné zbytky důlní činnosti. Dokonce se dolovalo přímo ve městě samotném a v jeho nejužším okolí.
Rozsáhlé lesy v okolí představovaly další významný zdroj bohatství pro Kašperské Hory. Od druhé poloviny 17. století se zde rozšířila dřevařská výroba. Uvádí se, že město vlastnilo jeden z největších lesních městských majetků v Čechách. S postupným vyčerpáním zlatých ložisek klesal význam Kašperských Hor jako hornického centra. V okolí města byla dobývána i malá ložiska železných rud. Na Zlatém potoce pracoval v 18. století také hamr.
Prudká vichřice v říjnu roku 1870 způsobila velké polomy v lesích a nezpracované dřevo napadl kůrovec. Jeho rozšíření v následujících letech mělo za následek nebezpečnou kalamitu, která musela být rychle likvidována. Průmyslová výroba se v 19. století orientovala především na zpracování dřeva z místních lesů.
Obě světové války znamenaly pro vývoj obce a jejího okolí významný zlom, zvýšila se ostraha hranic a po skončení druhé světové války docházelo s odsunem německého obyvatelstva k citelné stagnaci. Obec se nachází v bezprostřední blízkosti hranic, které byly po nástupu komunismu přísně střeženy. Pohyb obyvatelstva v pohraničí byl regulován, docházelo k nucenému dosidlování některých obcí, které se výrazně zmenšily v počtu obyvatel odchodem německého obyvatelstva. Některé obce byly naopak vysidlovány z důvodu rozšiřování hraničního pásma a zřizování vojenských výcvikových prostorů. V příhraniční oblasti byla vytvářena vojenská pásma za účelem zesílení ostrahy hranic. Docházelo k násilnému přerušení vzájemných kontaktů obcí se sousedním Bavorskem, jako i v případě Kašperských Hor, jež byly od časů Karla IV. obchodními partnery na Zlaté stezce.