Loại vườn zen Nhật Bản đã có mặt từ hàng trăm năm nay và được tạo ra với mục đích đem lại một cảm giác thư giãn và yên bình với những phong cảnh mộc mạc ngay trong sân vườn nhà bạn. Những loại vườn zen này kết hợp các yếu tố vô cùng giản dị và tự nhiên, bao gồm: nước, đá, cát, và cây cỏ để tạo nên một khung sắc tự nhiên thu nhỏ mà bạn có thể thưởng thức hằng ngày. Khi xây dựng vườn zen, người Nhật thường xuyên chú ý đến ba yếu tố sau: tỉ lệ kích thước nhỏ, ý nghĩa, và những hình ảnh mà chúng muốn phỏng theo.
Một loại hình mà chúng ta thường thấy trong các khu vườn zen chính là loại vườn đá, được cấu thành từ cát, sỏi và đá trong một khu vực nhỏ. Sỏi và cát trắng được cào theo một hình hoa văn phong phú, có thể mang hình gợn sóng hoặc kẻ theo hình ô vuông; chúng được dùng để tượng trưng cho dòng nước biển hoặc sông hồ rộng lớn và êm dịu. Trong khi đó những hòn đá lớn hơn, thường được phủ rêu xanh, được dùng để tạo nên hình ảnh của những ngọn núi được ngắm từ phía xa. Người Nhật tin rằng nếu số hòn đá trong vườn là số lẻ thì ắt sẽ mang lại may mắn cho chủ nhà.
Một điều thú vị của loại vườn đá này là chúng không cần một không gian ngoài trời quá lớn. Các loại kiến trúc Nhật Bản hiện đại và cao cấp ngày nay cho phép người Nhật xây dựng các vườn đá nhỏ ngay bên trong căn nhà, tại khu vực phòng khách với lớp kiếng bao phủ và dưới một chiếc giếng trời, làm cho khu vực xung quanh vườn đá cũng trở nên rạng rỡ hơn
Tiếp đến, một yếu tố không thể thiếu trong các vườn zen đó là vườn rêu. Người Nhật ưa chuộng loại cây này vì rêu rất dễ sống và có thể tồn tại trong những điều kiện thời tiết khắc nghiệt hơn. Một ưu điểm nữa của rêu đó chính là chúng có màu xanh tự nhiên quanh năm, tạo nên một cảm giác xanh tươi trong khu vườn zen bất kể mùa nào trong năm. Chúng cũng là một loài thực vật không gây hại đến đến loài cây khác nên rất dễ trồng các loại cây khác xung quanh rêu.
Loại vườn rêu này thường bao phủ lấy khắp các diện tích mặt đất của khu vườn zen, trừ khu vực vườn đá. Việc trồng rêu xung quanh các khu vực ao hồ cũng giúp phần nào đó che đi những đường nét thiết kế sắc bén của kiến trúc hiện đại, tạo nên một cảnh quang khá hoang sơ và tự nhiên. Một trong những thiết kế vườn rêu thịnh hành chính là kết hợp những ô đá vuông xen kẽ với lớp rêu, tạo hình bàn cờ vua xanh xám trông vô cùng hài hòa và bắt mắt.
Những điều đáng chú ý khi xây dựng một vườn rêu đó chính là đất, độ ẩm và độ sáng. Loại đất phù hợp cho việc trồng rêu phải có độ pH từ 5,0 – 5,5. Khu vực trồng rêu nên tránh ánh nắng trực tiếp vì có thể làm cho rêu trở nên quá khô và bị biến màu. Việc duy trì độ ẩm của rêu cũng rất quan trọng, quyết định sự phát triển và tồn tại của chúng, quá nhiều độ ẩm sẽ làm rêu sinh sôi nhanh hơn và quá ít sẽ làm chúng trông yếu ớt hơn và có thể bị biến màu như đã nói ở trên.
Hồ cá Koi (cá chép Nhật Bản) là một điểm khá thú vị trong vườn zen. Hồ cá biểu tượng cho sồng, hồ và biển, mang lại một sức sống cho không gian xung quanh với những đường gợn sóng li ti của cá koi. Kích thước của hồ thay đổi tùy vào độ lớn của vườn zen, các loại hồ cá thông thường có độ lớn khoảng 2 mét vuông và thậm chí có hồ to đến hơn 10 mét vuông nếu điều kiện cho phép.
Đáy hồ thường được phủ một lớp đá sỏi dày làm nền nhằm che đi những đường ống dẫn, ống bơm, thoát và lọc nước. Để giữ cho hồ được sạch sẽ, người chủ có thể cho thêm vào các loại cá chùi kiếng và ốc sên để giúp làm sạch các cặn và chất bẩn trong hồ do cá chép gây ra.
Ở các hồ nay, người Nhật thường xây dựng thêm một số cây cầu nhằm tiện cho việc qua lại hai bên hồ. Các loại cầu này có thể là những chiếc cầu mang thiết kế đậm phong cách kiến trúc Nhật Bản hoặc đơn thuần là những phiến đá to và đơn giản, bắc ngang qua hai bờ hồ.
Một số vật dụng trang trí khác thường thấy trong các vườn zen Nhật Bản.
Shishi-odoshi: là một loại đài nước kiểu Nhật được làm từ đá và ống tre. Ống tre này được thiết kế để có phần đầu khá nhẹ và có thể chứa nhiều nước, và phần đáy nặng để giữ cho đầu ống tre luôn hướng lên trên. Loại đài phun nước này thường được gắn với một nguồn nước nhỏ, và nước sẽ chảy vào phần đầu ống tre cho đến khi trở nên nặng hơn và nghiêng đầu ống tre xuống để xả bớt nước. Sau khi đã xả nước, ống tre sẽ quay về vị trí cũ và phần đáy sẽ va chạm với phiến đá phía dưới tạo nên một tiếng động nhẹ và khá êm tai. Mục đích chính của loại đài này chính là nhằm xua đi các loại chim và các loại động vật có hại khác vào vườn với tiếng động nhỏ nhưng bất ngờ.
Cuối cùng đó là loại đèn lồng đá mang đậm phong cách Nhật Bản truyền thống. Chúng thường được đặt ở những vị trí quan trọng như gần cửa hoặc gần hồ để chiếu sáng đường đi cho những ai tham quan khu vườn. Ngày nay, các loại đèn này được thiết kế để sử dụng với bóng đèn điện, nhưng vẫn giữ nguyên thiết kế cổ trang vốn có của mình.