Si no es posible conectarse a una instacia de Oracle debido a un problema "ORA-00020 maximum number of processes exceeded", todavía sería posible un último intento de pararla sin tener que matar el proceso.

En versiones 10.1 y superior existe la opción prelim

sqlplus -prelim / as sysdba
shutdown abort