วัดปิ่งหลิงสร้างขึ้นบนภูเขา  เป็นวัดถ้ำที่เน้นภูเขาเป็นหลัก  สถานที่ที่มีชื่อที่สุดในวัดปิ่งหลิงคือกลุ่มถ้ำหินที่ขุดตามหน้าผา  ถ้ำหินแบ่งเป็น 4 ชั้น ทั้งขนาดเล็กและใหญ่รวมกว่า 180 แห่ง  ที่เปิดให้เข้าชมมีประมาณหลายสิบแห่ง  ถ้ำหินขุดขึ้นในสมัยราชวงศ์จิ้น  ไม่ว่าจะเป็นคุณค่าทางประวัติศาสตร์ ความยาวนานของระยะเวลาหรือระดับฝีมือทางศิลปะ ไม่เป็นรองถ้ำม่อเกาแห่งตุนหวง

การเที่ยวชมถ้ำหินวัดปิ่งหลิง หากมองจากที่ไกลสามารถเห็นพระพุทธรูปองค์ใหญ่สูง 15 เมตรประดิษฐานอยู่กลางผนังเขา  สองข้างและด้านบนของพระใหญ่องค์นี้เป็นถ้ำเล็กๆ เป็นห้องๆ  สามารถปีนไปตามบันไดชมไปทีละแห่ง  พระพุทธรูปในถ้ำเล็กๆ ได้รับอิทธิพลจากวัฒนธรรมท้องถิ่นของชาวหู  รูปลักษณ์แตกต่างจากพระพุทธรูปในแผ่นดินใหญ่ มีเอกลักษณ์พิเศษอย่างยิ่ง  ถ้ำพระพุทธรูปที่สำคัญคือถ้ำหมายเลข 3 6 126 และ 169  ห้ามพลาดเด็ดขาด