别人会连到自己的耳机可能是因为自己的蓝牙设备处于可见模式，开启了其他人可以搜索到自己的设备的权限。或者是因为自己的耳机已经和其他设备配对过，但并没有断开连接，其他人可以直接连接上。

此外，也有可能是因为其他人未意识到自己连接到了别人的耳机，或者是故意尝试连接并听到别人的音乐。因此，使用蓝牙设备时需注意设置隐私权限，以及及时断开连接以避免他人的干扰。