Pulsa con botón derecho en un lugar vacío del escritorio y selecciona:
Nuevo -> Acceso directo, en la ventana que te saldrá escribe:
shutdown.exe -r -t 10
(el numero 10 indica el tiempo en reiniciar lo podéis cambiar a 5, 6,7...) ahora pulsa en siguiente y escribe el nombre que quieras para el acceso directo, ya solo queda pulsar en Finalizar y listo!