http://lists.debian.or.jp/debian-users/200911/msg00092.html
設定ファイルだけ残っているものも消したければ、
sudo aptitude purge '~c'
でpurgeすればすっきりできます。
debian 以外から入れたものがなければ aptitude の検索パターンを使って、
sudo aptitude search '~i!~Odebian'
で確認した後、
sudo aptitude purge '~i!~Odebian'
のように削除する方法もあります。
未検証