Нужно залить публичный ключ на сервер:

scp ~/.ssh/id_rsa.pub username@host:~/.ssh/authorized_keys

где:

• host - имя вашего сервера;
• username - имя пользователя, под которым подключаетесь на сервер по ssh.

UPD:

Тут есть один минус в том, что файл authorized_keys при таком копировании ssh-ключа перетрётся, если в нём уже присутствовали какие то ключи. Лучше добавить ssh-ключ как описано здесь:

ssh-copy-id -i ~/.ssh/id_rsa.pub root@example.com

ssh-id-copy user_name@(domain or ip)