Во-первых, необходимо остановить апач — пока он запущен, удалить его нельзя. Что я и сделал.

$ sudo service apache2 stop

Затем надо деинсталлировать апач и связанные с ним пакеты. При этом нужно использовать purge вместо remove. Первый вариант попытается удалить и зависимые пакеты, и созданные ими конфигурационные файлы. В дополнение используйте autoremove, чтобы удалить некоторые другие зависимости, утсановленные вместе с апачем, но не используемые никакими другими пакетами.

$ sudo apt-get purge apache2 apache2-utils apache2.2-bin apache2-common $ sudo apt-get autoremove

Наконец, надо проверить наличие конфигурационных файлов или мануалов, связанных с Apache2, но до сих пор не удаленных.

$ whereis apache2

Я в ответ получил такую строчку:

apache2: /etc/apache2

Это значит, что директория /etc/apache2 все еще существует. Но раз теперь эта директория (и содержащиеся в ней файлы) никем не используется, удалите ее вручную.

$ sudo rm -rf /etc/apache2

После этого я перезагрузил виртуалку и возрадовался