白塔山因山顶白塔寺内建有白塔则得名。宋末元初，白塔山一带为西夏占据。相传，成吉思汗为完成统一大业，曾致书吐蕃乌斯藏地区的萨迦派法王，希望通过会议，和平统一藏区。萨迦派法王遂派一著名的喇嘛去蒙古拜见成吉思汗，但行至兰州时不幸病逝。元朝在1226年冬灭西夏国后，将兰州纳入其版图。为纪念这位死去的喇嘛，在白塔山巅建有佛塔一座垩饰如雪，并修有寺院，白塔山由此得名，并成为宗教胜地。可惜原塔至元末时塌毁。据《重修白塔寺记》载，现存白塔于明景泰年间（公元1450-1456年）重修。

白塔为覆钵式在下，楼阁式在上，二者有机结合的实心砖塔 ，通高17米，下筑圆型塔基；塔身七级八面，每级各角均有翘起的砖刻小龙头，下系铁马铃，各面均塑有佛像；塔顶为绿色的古印度式塔刹。全塔通涂白浆，如白玉砌成。

白塔寺内，原有数十座宫殿，规模极其庞大。今天，寺南有二层悬崖阁楼，北为菩萨殿，东西两边各有陪殿、小亭，将白塔环围在寺院中央。寺中有象皮鼓和青铜钟两宝。