Windowsのデバイスマネージャー（devmgmt.msc）では、その時接続されているデバイスの一覧が表示されます。
以前接続していたが、現在取り外されているデバイスについては、デバイスマネージャーには表示されません。
しかし、表示されてはいないものの、レジストリ内にはその存在しないデバイスのエントリ情報は残っている為、デバイスの種類によってはその残ったエントリのせいで問題が発生したりすることがあります。
でも表示されない以上、削除しようがない・・・という時に、デバイスマネージャーに接続されていないデバイスも表示されるように設定することができます。
管理者権限でコマンドプロンプトを起動し、次のコマンドを実行します。

set devmgr_show_nonpresent_devices=1

コマンド実行後、デバイスマネージャーを起動し、「表示」メニューから「非表示デバイスの表示」を選択すると、接続されていないデバイスが半透明で表示されるようになります。
これで削除できる！(｀・ω・´)