První dřevěné domky zde byly postaveny pro dřevorubce a plavce současně se stavbou plavebního kanálu ke konci 18. století. K původním pěti domkům přibývají časem další a v roce 1945 zde žije ve 38 domech na 260 obyvatel. V roce 1935 tu vyhořel jeden z nejstarších domů, postavený někdy okolo roku 1792, kdy byla osada založena. Jeho obyvatel, svérázný dřevorubec Václav Pasta ho za přispění knížete Adolfa Schwarzenberga v krátké době vystavěl znovu. O Pastovi se v tehdejším tisku psalo, že se ve svém řemesle dokonale vyzná a uchopí-li sebesilnější kmen, samozřejmě vždy za správný konec, tak s ním dovede pohnout!
V Jeleních Vrchách žili a pracovali také skvělí kameníci. Při stálém zdokonalování kanálu přišel jejich um ke slovu často. Nedaleký tunel s ozdobnými kamennými portály by se dal označit za jejich vrcholné dílo. Skutečné umění předvedli postavením pomníku A. Stiftera nad Plešným jezerem v letech 1876-77.
