“山”和“岳”都是指山，“三山五岳”是泛指华夏名山，但是“三山五岳”在历史上不同的时期和不同的地域又有不同的具体所指。
“三山”在秦汉时期是指三座仙山：蓬莱、方壶、瀛洲。关于这三座仙山的传说在先秦时期就存在。《列子*汤问》里说，“渤海之乐不知几亿万里，有大壑焉，实惟无底之谷，其下无底，名曰归墟。八弦九野之水，天汉之流，莫不注之，而无增无减焉。其中有五山焉：一曰岱舆，二曰员峤，三曰方壶，四曰瀛洲，五曰蓬莱。其山高下周旋三万里，其顶平处九千里。山之中闲相去七万里，以为邻居焉。其上台观皆金玉，其上禽兽皆纯缟。珠玕之树皆丛生，华实皆有滋味，食之皆不老不死。”
《列子》中明确指出了海上仙山的位置，在渤海以东很远的地方，几亿万里之外，这是建立在当时不知道地球是圆形的这个基础上，但又明确有所指，所以后来秦始皇才会相信徐福的话，相信能找到海上仙山求得长生不老药。在《列子》的描写中，这个地方的海是无底洞，天下之水都归流于此，仙山就在这片海域。仙山有五座，不是三座，每座山高三万里，山顶都是平的而且平面面积有九千里，三座山虽然比邻，又离得比较远，之间的距离有七万里。山上住的都是仙人，而且明确指出，仙山的树上结的果子吃了可以“不老不死”。
神仙思想萌生于周代，盛行于战国，不过到了秦始皇求仙的时代，原来《列子》里所提的五座仙山就只剩三座了。《史记*封禅书》说，“自威、宣、燕昭使人入海求蓬莱、方丈、瀛洲，此三神山者，其傅在渤海中。”后世所说的“三山”，一种观点就是认为，说的是海上三仙山，有的把“方丈”改称为“方壶”。清代的圆明园“四十景”中有一景“蓬岛瑶台”，原本建于雍正初，称为“蓬莱洲”，乾隆时称为“蓬岛瑶台”。这一景是在圆明园的福海里作三岛，就是“蓬莱”、“方丈”、“瀛洲”。以唐代李思训的画作为蓝本，在岛上造仙山楼阁。
“三山”不只以此为定论，李白的《登金陵凤凰台》诗中有一句，“三山半落青天外，二水中分白鹭洲。”这三山又指的是南京西南长江东北岸南北相边的山，合称为“三山”。江苏镇江的长江之滨与江中的金山、焦山、北固山夹江相峙，世称“金口三山”。
“五岳”也是五大名山的合称，“岳”是指更高的山，“五岳”是指：东岳泰山、北岳恒山，中岳嵩山、西岳华山、南岳衡山。不过这是现在的认知，而在汉代汉宣帝时，“五岳”是指：中岳河南嵩山、东岳泰山、南岳安徽天柱山、西岳华山、北岳河北曲阳大茂山。后来又把湖南衡山改为南岳。隋代以后成为定制。明代开始以山西恒山为北岳。清朝的祭祀也以山西恒山为北岳。
另外历史上一些地方区域政权也为显天子之仪也在自己统治区域内将名山命名为“五岳”。三国东吴把江苏宜兴离里山同命为中岳；以荆南山为南岳。五代闽帝王延钧以福建宁德霍童山为东岳，永泰县高盖山为西岳。唐代南诏在云南境内以点苍山为中岳，乌蒙山为东岳，无量山为南岳，玉龙山为北岳，高黎贡山为西岳。
