Okolní lesy zajišťují obci čerstvý vzduch a už v době první republiky bylo Jelení doporučováno pro své téměř "lázeňské ovzduší". Lesy vtiskly obci podtext klidu, ticha a pohody. Je výhodným výchozím centrem pro putování a výlety do okolí. Leží na východním okraji okresu Pardubice, na rozhraní mezi Orlickým podhůřím a Polabskou nížinou. Město žije bohatým kulturním a společenským životem. Funguje zde Sbor dobrovolných hasičů, úspěšný fotbalový klub a mnoho dalších organizací. Jméno obce bylo skloňováno i v souvislosti s Českým hudebním táborem mládeže, probíhajícím na blízkém rekreačním zařízení Radost. Plány radnice v rozvoji města naznačují, že v blízké budoucnosti by Jelení nemuselo být pouze příjemným místem pro život místních obyvatel, ale také turistickým cílem.
Nejstarší období obce je spojováno s loveckým hrádkem, který zde stával již v dobách předhusitských. Později kolem něho vznikala pastevní víska. To byl základ obce, která zde vznikla a nesla název Svrchní Jelení. Pro svoji polohu na kopečku a pro hojnost vysoké jelení zvěře. Teprve později vzniká východně od Svrchního - Horního Jelení druhá vesnička nazvaná Spodní - později Dolní Jelení. Obě obce vytvářely jakýsi jednotný celek, a proto historie obou obcí (a možná již i osady Rousínov) je psána stejnými slovy a neliší se od sebe.
Prvním známým držitelem jelenského panství byl král Jiří z Poděbrad. První zmínka o obcích jelenských je z roku 1495, kdy kupuje jelenské prostory velmož Vilém z Pernštejna, který v okolí založil celou řadu rybníků, z nichž se dodnes zachovaly Pětinoha, Hanzlíkovec a Pecenský.
Kolem roku 1555 bylo Horní Jelení povýšeno na městečko. Rod Pernštejnů drží majetky až do roku 1556, kdy se majitelem panství stává falckrabí na Rýně a solnohradský arcibiskup Arnošt, který v roce 1558 prodává panství Přibíku Benešovi Sekerkovi ze Sedčic. V této době byl na Jelení vystavěn pivovar s chmelnicí.
V roce 1573 kupuje jelenská panství rytíř Heřman Varlich z Bubna a na Skášově. V letech 1600 - 1602 dal na Horním Jelení postavit kostel s dřevěnou zvonicí. Po úpravách v letech 1850 - 1864 se stal významnou kulturní památkou obce. Vedla kostela byla v roce 1698 postavena dřevěná fara, která byla v roce 1823 nahrazena zděnou farou. Roku 1734 se Horní Jelení stává městysem s právem pořádat čtyři roční trhy. V roce 1865 dal hraběcí rod Bubnů na Horním Jelení vystavět jednoduchou jednopatrovou budovu zvanou zámek. Ten však nikdy nebyl trvalým sídlem hraběcího rodu. Bubnové bydleli na zámku v Doudlebách. Jelenský zámek byl centrem hospodářského řízení jelenských statků. V roce 1912 bylo Horní Jelení povýšeno na město a dostalo svůj znak. Historický titul města byl Hornímu Jelení navrácen v roce 2006.
Poslední období rozvoje obcí
V roce 1929 byla na bývalé Vysokomýtské třídě (ulice Kolárského) otevřena nová budova školy. V roce 1948 majetky rodu Bubnů převzal stát a hospodařil na nich formou družstevní velkovýroby v jednotných zemědělských družstvech, lesní porosty byly spravovány podnikem Československé státní lesy. Hraběcí rod Bubnů dostává své majetky zpět v restituci v roce 1994. V období let 1948 - 1989 bylo vybudováno nové fotbalové hřiště, koupaliště, mateřská škola, obchodní středisko včetně obchodu na Dolním Jelení. Byla provedena přístavba a rekonstrukce základní školy, vystavěna řada rodinných a řadových domků včetně bytovek, vybudována hloubková kanalizace, čistička odpadních vod, zavedeno nové osvětlení a místní rozhlas.
Po roce 1989 byla dokončena stavba vodojemu a hloubkové kanalizace s vodovodní sítí, položeny telefonní kabely a provedena plynofikace obcí. Byla provedena přístavba a rekonstrukce školy, byly vystavěny dva nové domy s pečovatelskou službou a provedena rozsáhlá výstavba obecních domů formou dvojdomků a řadových domů. Byla provedena oprava, fary, kostela, byly opraveny modlitebny a kaplička na Dolním Jelení. Novým "kabátkem" se může pochlubit také mateřská školka. Poslední velkou úspěšně zakončenou akcí je další etapa opravy základní školy.
- Jiřina Jelenská, česká herečka, narozena 21. prosince 1942 v Horním Jelení, zemřela 27. března 2007 v Hradci Králové. V Troškově trilogii Slunce, seno… hrála manželku předsedy, účinkovala v dalších 140 filmových a televizních rolích.
- Karel Kaplan, narozen 28. srpna 1928 v Horním Jelení, český historik, zabývající se hlavně dějinami komunistického Československa.
- Antonín Kosina, český učitel, básník a spisovatel, narozen 9. listopadu 1849 v Horním Jelení, zemřel 4. června 1925 v Lomnici nad Popelkou.
- Jiří Novák, narozen 5. září 1924 v Horním Jelení, primárius Smetanova kvarteta, zemřel 10. září 2010 v Praze.
- Josef Sokol, 1831–1912, český politik, poslanec Českého zemského sněmu a Říšské rady.
- Oldřich Tošovský, narozen 10. července 1917 v Horním Jelení, zemřel 17. října 1940 jako pilot během cvičení.
- Pseudogotický římskokatolický kostel Nejsvětější Trojice z roku 1866, postavený na místě kostela z roku 1602, zbořeného v roce 1863; v kostele je pohřben Heřman z Bubna
- Socha Anděla Strážce a socha svatého Floriána u kostela Nejsvětější Trojice
- Socha svaté Anny z roku 1824
- Socha svatého Jana Nepomuckého
- Mariánský sloup z roku 1704 na náměstí
- Sloup se sousoším svaté Anny učitelky
- Přírodní památka Pětinoha, rybník
