La réponse donnée par Marcus Adams comporte également un raccourci clavier : Ctrl + Alt + End. Vous devez être en plein écran et/ou avoir la session RDP réglée sur Appliquer les combinaisons de touches Windows sur l'ordinateur distant. Cela envoie effectivement un Ctrl + Alt + Del à l'ordinateur distant (il est donc pratique de le savoir pour d'autres occasions/utilisations également). De là, comme Marcus l'a dit, vous pouvez accéder à Redémarrer, Arrêter, etc. à partir de la petite icône rouge du bouton d'alimentation dans le coin inférieur droit.
Vous pouvez aussi cliquer une fois sur le Bureau (ou la barre des tâches) de l'ordinateur distant, puis appuyer sur Alt + F4 et vous obtenez la pop-up à l'ancienne avec toutes les options d'arrêt dans le menu déroulant.
Mise à jour: comme indiqué dans les commentaires, Ctrl + Alt + Fin dans Windows 10 vous donne seulement la possibilité de vous déconnecter. Vous ne pouvez pas redémarrer ou arrêter à partir de là. Je ne trouve pas non plus d'option de sécurité Windows dans le menu Démarrer… Mais ne vous inquiétez pas, comme mentionné, la méthode Alt + F4** fonctionne toujours**, et je l'utilise exclusivement maintenant (je télécharge pour le travail tous les jours, et je gère aussi plusieurs machines à la maison).