其实我单单从你自己所罗列的数据就可以得出结论。
为什么古代人均寿命很短，甚至清朝皇室这种吃喝不愁的人的平均寿命也很短？
答案就是新生儿夭折率太高了。
你看你自己也说了“据清史稿，清历代皇帝一共生有103皇子（不包括皇帝），82个皇女，平均寿命皇子32岁、皇女26岁，大量死于5岁之前。”
这不就是原因吗？只要有几个皇子皇女在5岁之前夭折，那清朝皇室的人均寿命不就瞬间被降低了好多吗？例如一个皇帝生有10个孩子。其中1个活到80岁，3个活到70岁，4个活到60岁，2个5岁夭折，那么这群皇子的人均寿命就只有54岁。高吗？并不算高，但其实细看每个皇子的生长情况，其实并不差，80%都活到了60岁以上。
如果我们把数据在弄得极端一些。或许更能清楚地显示新生儿夭折率太高而严重拉低人均寿命的事实。例如一个皇帝生有10个孩子，其中1个活到80岁，1个活到70岁，1个活到60岁，1个活到50岁，其他6个都在五岁时夭折了，那么这群皇子的人均寿命只有29岁。这简直就低得离谱了。而这种情况或许也更符合历史一些，毕竟你也说了“平均寿命皇子32岁、皇女26岁。”
明白了古代人均寿命很低的原因主要是新生儿夭折率过高后。我们就只需要思考为什么古代新生儿夭折率如此高这一问题了。
首先，肯定是古代医疗条件落后的原因
这不是指责中医不行，而是受限于生产力和科学技术的原因，整个人类社会的医疗水平都不行。例如现代医学最常用的青霉素比较容易提炼，而且药效很好，但放在古代，即便是清朝皇室，他坐拥全天下最珍贵的药材，手里掌握着提炼青霉素的原料，他也没法用青霉素来给他的孩子治病。因为古人根本不知道有青霉素这个东西（青霉素只是个例子，还有很多类似的现代药品，古代都没有）。
其次，还受限于古代落后的分娩手段
我曾听过一句话，其大意是“妇女产子，犹如再从鬼门关走一遍。”在古代，妇女产子的条件极其简陋，只有大床、热水、稳婆而已。哪怕是清朝皇室，他最多提供最软的大床、最多的热水和经验最丰富的稳婆而已，再多他也没有了。什么剖腹产、水中分娩等现代分娩技术，简直是不敢想的好事。
古代的分娩技术已经很落后了，但产妇大出血或产妇因疼痛而昏迷的糟糕情况却基本不会减少，甚至还会因为种种原因而有所增加（例如产妇怀孕期间，补充营养过多导致胎儿过大，这也会增加分娩风险）。
除此以外，古代稳婆的协助分娩技术也远不如现代医生那么科学先进。古代的稳婆只是经验丰富的老妇人，她对产妇最大的帮助大概就是告诉产妇小孩出来多少了，或者为产妇加油打气。这不是指责稳婆耽误孕妇，而是受限于科学技术的发展，只能让稳婆这样做了。
再次，还受限于落后的孕检技术
古代基本上没有孕检，腹中胎儿究竟是健康的，还是畸形的，基本只有生下来才知道，甚至生下死胎也是常有的事。而现代孕检则会定期检查腹中胎儿的健康情况，如果是畸形儿或死胎，往往会直接流产，这在一定程度上也提高了新生儿的健康率。
最后，还与新生儿抵抗力弱，而古代对新生儿疾病又束手无策有关
新生儿或只有几岁的小孩因为抵抗力弱，常常会得各种各样的病，而且可能对成年人来说不致命的病，一旦小孩得上，也可能致命。例如天花、手足口病等等。
总结
总而言之，我认为古代人均寿命较低的主要原因是新生儿夭折率过高。
而古代新生儿夭折率过高的原因又主要有四点。分别是医疗条件落后；分娩技术落后；孕检技术落后；抵御新生儿疾病的手段落后。这个落后不是说中医不行，而是受限于生产力和科学技术的发展，整个人类社会都落后。
