Установил xfce вместо unity на ubuntu. После чего git fetch начал отдавать такую штуку:

$ git fetch
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@         WARNING: UNPROTECTED PRIVATE KEY FILE!          @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
Permissions 0644 for '/home/username/.ssh/id_rsa' are too open.
It is required that your private key files are NOT accessible by others.
This private key will be ignored.
Load key "/home/username/.ssh/id_rsa": bad permissions
Permission denied (publickey).
fatal: Could not read from remote repository.

Please make sure you have the correct access rights
and the repository exists.

Permissions 0644 for '~/.ssh/id_rsa' are too open — т.е. файл ключа id_rsa имеет слишком много прав. 

Смотрим текущие права:

$ ls -la ~/.ssh/
total 24
drwx------  2 eugeney eugeney 4096 Jun  6 16:42 .
drwxr-xr-x 33 eugeney eugeney 4096 Jun 13 12:10 ..
-rw-r--r--  1 eugeney eugeney 1679 Mar 11  2013 id_rsa
-rw-r--r--  1 eugeney eugeney  398 Mar 11  2013 id_rsa.pub
-rw-r--r--  1 eugeney eugeney 5534 Jun 13 10:35 known_hosts

Основная проблема в том, что с такими правами наш ключ могут читать и другие пользователи. Поэтому система обязывает нас изменить права. Запретим другим пользователям читать наш id_rsa, выставив права только для нашего пользователя с помощью команды chmod.

Задаём права 700 либо 600 на приватный ключ ~/.ssh/id_rsa

chmod 700 ~/.ssh/id_rsa

Теперь у текущего пользователя будут права на запись, чтение и выполнение (цифра 7). А у остальных пользователей не будет никаких прав на этот файл (цифра 0).

600 и 700 оба варианта подходят.

После этого ssh авторизация по ключу должна проходить без ошибок.