灵璧石乃古代四大名石之一，宋代杜绾《云林石谱》一百多种奇石之首，历代名人雅士、帝王将相、达官富商收藏赏玩，名声斐然，赞誉有加。灵璧石历史悠久，名冠古今中外。“灵璧”使得物与地同名，石与璧并驾，可以想见人们对灵璧石何等珍爱了。灵璧县东北部绵延十几座山脉中都产有灵璧石，其中又以磬云山之灵璧石最为著名。远在三千年前的殷代就被人们发掘并用于制作当时重要的乐器——磬，因此又被称为“磬石”和“八音石”，比编钟早了1000多年。此石黑亮如漆，石质细腻润滑，且叩之有声，音韵悦耳动听，为灵璧石中之珍品。“击石拊石，百兽率舞”。灵璧石不但石质坚贞、声美（玉振金声，清越悠扬）、色美（五彩纷呈，光亮润泽），其形更美，天上飞禽，地下走兽，人类精灵，世上万物，无不包罗。均是不假雕琢，浑然天成，令人叹为观止。 自汉代开始，灵璧奇石逐渐被用为园林造景、假山叠石、厅堂摆放、几案摆设和把玩。至盛唐、大宋时，灵璧石已显露其锋芒。灵璧石历史上曾有三次较大规模的开掘。一次是北宋中后期，先是当地人士采石筑园，或为清供，经苏轼、米芾、杜绾等人颂扬，名声愈噪，并留下了很多脍炙人口的诗文篇章。直到宋徽宗修筑“艮岳（万寿山）”，搜尽天下异花奇石，利用皇权征调灵璧石，所谓历史上“花石纲”是也，达到高潮。北宋灭亡，宋徽宗被虏去坐井观天，民不聊生，生存是第一需要，包括灵璧石在内的收藏冷落了下来，此后少有人问津。这种局面一直持续到明万历年间。王守谦称：“国朝垂二百六十余年，寥寥无闻，即问之土著者，亦竟不知灵璧石为何物。”万历己酉年（1609），御史张鸿元去灵璧觅石，雨后在山涧沟壑中采得几方，以此为端，开始了又一轮挖取灵璧石的热潮，贩石者接踵而至，灵璧石的第二个春天来临了。乾隆下江南，亲笔御题了“天下第一石”。此后，清末民国时，国之不国，连年战乱，包括灵璧石在内的其它奇石、古董的收藏都冷寂了。第三次采掘热是上世纪八、九十年代的事，随着奇石热兴起，海内外来灵璧求石者日盛，古老的灵璧石也复苏了，“灵璧石热”导致日夕奔走于山间觅石之人如蚁。有识之士呼吁：灵璧石资源已濒临枯竭！并建议政府采取积极有效措施，禁止滥采乱挖和盲目流失，尽快建立“灵璧石藏馆”，收集与保护灵璧石精品，这才有了一定的控制。
灵壁石以奇而闻名于天下，大自然的神奇力量，生成形态各异的灵壁石。《尚书·禹贡》中有“泗滨浮磬”的记载。唐宋时期，更是从帝王将相到文人墨客都纷纷加入到灵壁石的赏石者中来。灵壁石作为客体凝聚了人们的审美意识，满足了人们精神需求。关于灵璧石，以下几说可见一斑：
就磬石来说，有一典故：《华原磬》写的是用陕西华原之青石制作石质乐器——磬。古人认为磬发出的音乐对人有教育作用，不可等闲视之。白居易和其好友元稹认为，应用古泗滨磬而不能用华原磬。原因是古泗滨磬发“清声”为“雅”乐，华原磬发“浊声”为“郑音”。“清”声为“正”声，使人向上；浊声为“邪”声，以邪诱人，必然国亡民穷。元稹说：“泗滨浮石裁为磬，古乐疏音少人听”、“正声不屈古调高，钟律参差管弦病”、“华原石软易追琢，高下随人无雅郑”、“玄宗爱乐爱新乐，梨园弟子承恩横。霓裳才彻胡骑来，云门未得蒙亲定。”白居易赞同元稹的观点，作《华原磬歌》曰：“华原磬与泗滨磬，清浊两声谁得知”、“乐工虽在耳如壁，不分清浊即为聋……宫悬一听华原石，君心遂忘封疆臣。果然胡寇从燕起，武臣少肯封疆死。始知乐与时政通，岂听铿锵而已矣。”他们讽刺的是用“浊音”、“邪”声去毒化人们心灵的“浊声误国”的那些心术不正的奸人，同时也道出了泗滨磬石的美妙。由于磬石玉质金声，清润悦耳，世间罕有，引起了历代诗人的瞩目，并为灵璧磐石引吭高歌。宋代诗人方岩曾写了一首长诗《灵璧磬石歌》，开头就赞美“灵璧一石天下奇”，“声如青铜色如玉”。明清以来，灵璧制磬发展了多种多样的镂空雕花磬，可以用来挂在宫阙、寺院等高大建筑物上作装饰，或作客厅、书斋的摆设，以寓“吉庆有余”。
砚山是一种天然峰峦形成的砚石，在底部山麓处，琢平可受水以磨墨，既可做为文房清玩，又能为临池染墨之具。古记米芾得一砚山而抱眠三日。其中最著名的一座乃是南唐后主李煜钟爱之物，直径一尺多，前后有几十个如指头般大小的峰峦，上有一小方坛，上面有二寸见方的砚台，米芾在《砚山》诗序中写道：“谁谓其小，可置笔砚……”这尊供石，后来米芾用它换了镇江甘露寺下沿江的一处宅基，筑成“海岳庵”。这可算一段佳话。米芾念念思之，并作有《研(砚)山图》传世。
“石痴”米芾和灵璧石结下了不解之缘，史籍曾记载 “元章守涟水，地近灵璧，蓄石甚富，一一品第，加一美名，入玩，则终日不出。是时，杨次公为宪使，因往涟焉。正色曰：朝廷以千里郡邑付公，那得终日弄石，不省录郡事。米趋前，乃措笏由袖中取一石，嵌空玲珑，峰峦洞壑皆具，色极清润。宛转反复以示杨曰：如是安得不爱?杨不顾，乃纳入袖；又出一石，叠嶂层峦，奇巧又胜，又纳之袖；最后出一石，尽天划神镂之巧。顾杨曰：此石安得不爱?杨忽曰；非独公爱，余亦爱也。即就手攫得之，径登车去。米以杨夺其所最，罔然自失者累月，屡以书请之竟不复得。”
杜绾《云林石谱》云：宿州灵壁县，地名磬石山，石产土中，采取岁久，穴深数丈。……扣之，铿然有声。……或成物象，或成峰峦，巉岩透空，其状妙有宛转之势。亦有窒塞，及质偏朴。若欲成云气、日月、佛像及状四时之景……峰峦岩窦，嵌空俱美……
宋皇室后裔赵希鹄言：“灵壁石在山谷中掘之，色如漆、白纹如玉……佳者如菡萏，如卧牛，如蟠螭，扣之声音清越如金玉……。”
清·谷应泰《博物要览》称：灵壁石为‘灵皇石’，产灵璧县磬云山。……或成物像，峰峦巉岩透空，优于诸石，大者可饰园林，小者可为文房研山……