La solución es combinar find con xargs de la siguiente manera, para que cada archivo sea tratado de forma individual. En este ejemplo, eliminaremos todos los ficheros del directorio actual:
find ./ -type f -name "*.*" -print | xargs rm -v
find ./ -type f -name "*.*" -print | xargs rm -v