Lo que no funciona, pero conviene saber: Hay unos modificadores en el instalador para que se salte esa comprobación. Son /SkipRules=VSShellInstalledRule RebootRequiredCheck , pero lamentablemente no sirven para SQL Server 2008 R2.
Lo que funciona: Abrir regedit.exe, buscar la clave de registro "PendingFileRenameOperations" que está en "HKEY_LOCAL_MACHINESYSTEMCurrentControlSetControlSession Manager", y vaciar su contenido.