phpMyAdminをインストールするとApacheの設定ファイルが作成されるので、この設定ファイルのエイリアスの箇所を変更します。
$ cd /etc/apache2/conf-available
設定ファイルの編集
$ sudo pico phpmyadmin.conf
Alias /whateveryouwant /usr/share/phpmyadmin
Apacheの再起動
$ sudo service apache2 restart
http://localhost/phpmyadmin
と
http://localhost/whateveryouwant
でアクセスして変更が反映されているか確認して下さい。