Creo que la unica manera sería encerrarlo en una caja fuerte porque de otro modo ....
Si las personas que no quieres dejar entrar no son muy expertas puedes ponerle un password por el SETUP y si no saben como quitarlo no podrán hacer nada.
Para estar mas seguro deberias meterle un password a tu cuenta para entrar al sistema operativo y desactivar las otras, esto si usas un sistema operativo que lo permite.
Aun así podrían entrar eliminando el password del Bios y cambiando tu password en el sistema operativo si saben como hacerlo, localmente es casi imposible defender una computadora, si el que quiere entrar sabe lo suyo y es perseverante no lograrás tenerlo afuera, aclara a quien le quieres quitar el acceso y si hace falta te daré mas opciones, pero para el 99 % de los casos meterle un pass por el SETUP y otro por el login será mas que suficiente.