玉山古茶场位于玉山镇马塘村茶场山下，初建于宋，现存建筑为清乾隆辛丑年（1781）重修。坐东北朝西南，占地3430平方米，主要包括茶场庙、茶场管理用房（巡检司）、茶场三大部分。
茶场庙，占地198平方米，由门楼、天井、正屋三部分组成。门楼三间二楼，用磨砖砌成，门额石匾阳刻楷书“茶场庙”三个大字由铁店周昌霁所题，两边各有一幅人物故事堆塑。二脊檐下里外绘人物、山水等壁画。正屋三开间，通面阔13.16米，通进深10.33米，梁架结构为抬梁式和穿斗式相结合，整座梁架皆有彩绘，柱头置栌斗，牛腿雕花瓶、动物等图案，檐檩外置飞椽。椽上铺望砖，檐口置勾头滴水，正脊中间设葫芦定风叉。地面用长方形石板铺砌，天井卵石墁地。
茶场管理用房（巡检司），占地230平方米，由门楼、天井、正屋及边屋组成，为历代管理茶场处理公务的场所。门楼三开间，梁架结构为穿斗式，明间为通道。正屋三开间，通面阔10.60米，通进深7.85米，梁架结构为抬梁式和穿斗式相结合，牛腿雕人物、动物等图案，墙边置放清代“奉谕禁茶叶洋价称头碑”、“奉谕禁白术洋价称头碑”、“奉谕禁粮价洋价称头碑”三块碑石。正屋东边为过道间,为官吏膳食起居场所，并有洞门与茶场相通。民国期间，正屋改为“观音禅寺”。地面三合土，天井用卵石铺成联环圆形钱纹图案。
茶场，占地782.6平方米，由门楼、前天井、前厅、后天井、厢房及后堂组成。门楼三间二楼，门框上方条石阳刻“茶场”二字。前厅三开间、后堂明三暗五，抬梁式和穿斗式相结合。厢房五檩三柱，穿斗式结构。前厅、后堂及其之间的厢房组成一个大四合院，均为二层楼屋，其形式为走马楼，楼房临天井四面有相通的回廊，便于楼上客商来往。厢房底层属于市场交易固定摊位，前厅与后堂底层为自由交易摊位。前厅东西两侧各有侧厢一间，作为架设楼梯之用，二楼设桌椅为客商品茶评级，其余楼屋用于茶商囤积货物、住宿。前厅、后堂之间天井内原设有戏台，“文革”初期被毁，仅存柱顶石。地面三合土，天井卵石铺砌。
玉山制茶历史悠久，晋时制作的“婺州东白”已名声远播，唐代陆羽在《茶经》中记载：“婺州东白”为贡茶。宋时，玉山古茶场成为“榷茶”之地，历代设官监之，以进御命，称之为“茶纲”。玉山茶农为纪念许逊研制“婺州东白”茶叶的功绩，建庙供奉，香火沿续至今。并从明朝开始，形成了以茶叶交易为中心的重要聚会—“春社”和“秋社”，当地茶农来到茶场，祭拜茶神，并在茶场内举行观社戏、挂灯笼、迎龙灯、竖大旗等民俗文化活动。这种茶场与茶场庙一体保存下来的实例甚少，是研究古代制茶、售茶管理制度和茶文化内涵的重要实物史料。
2007年6月13日，时任浙江省委书记、省人大常委会主任习近平考察玉山古茶场，详细了解了玉山古茶场的历史渊源，嘱咐当地领导“要保护开发好玉山古茶场，主要是保护好，在保护中也有一定的利用，在开发中继续弘扬。”
2006年5月25日，国务院公布为全国重点文物保护单位。