Estava a quebrar a cabeça com o X11 Forwarding no Ubuntu Server 10.04, porém vendo a buglist do ubuntu descobri a solução postada pelo usuário
asaijo basta adicionar -4 na linha do /etc/default/ssh
no arquivo mude a linha de:
SSHD_OPTS=
para:
SSHD_OPTS=-4
isso faz com que o ssh-server use o IPv4.
depois reinicie o ssh-server:
# /etc/init.d/ssh restart