¿Es posible limitar el acceso a los archivos a un solo usuario?

Sí, requiere configuración. La limitación de acceso se puede configurar utilizando roles de usuario de WordPress (administrador, autor ...)

• Para cada categoría de archivos, puede configurar el rol de usuario el cual, podrá mostrar y descargar archivos
• Para cada gestión de archivos, puede configurar la acción en los roles de usuario, por ejemplo, los autores solo pueden gestionar sus propios archivos