L’installation de WordPress 3.2.1 sur un serveur nécessite que celui-ci utilise PHP 5.2.4 (à ne pas confondre avec la version de MySQL en 5.0 qui concerne les bases de données).

Dans le cas où le serveur n’est pas à jour à ce niveau-là (chez OVH, pour moi, par exemple), il faut soi-même en changer la version PHP.
Heureusement, rien de très compliqué ; mon premier réflexe a été de contacter le support OVH par mail, car ils sont très réactifs. J’aurais pu aussi directement regarder le tuto consacré à cette manip’, ici : http://guides.ovh.com/Php5ChezOvh
Mais je préfère embêter les techniciens.
Bref, la manip consiste à ajouter un fichier .htaccess contenant une ligne de code (ou modifier ce fichier en ajoutant la ligne de code). Ce fichier se met à la racine, ou dans le dossier concerné.

La méthode conseillée : ouvrir un éditeur de texte, récupérer le fichier texte et le mettre sur le serveur via un client ftp, puis une fois le fichier chargé sur le serveur, changer le nom complet en .htaccess.
Les fichiers commençant par « . » sont invisibles par défaut, mais sur un client ftp il existe en général l’option qui permet de les afficher (dans Cyberduck : « Présentation > Afficher les fichiers cachés » – ce qui est plus facile à écrire qu’à prononcer).

Petite parenthèse : c’est là que j’ai commis mon erreur de débutante : j’ai utilisé l’éditeur de texte basique sur Mac, TextEdit.
Me doutant bien que le format .rtf ne conviendrait pas, j’ai quand même publié mon fichier en .rtf puis j’ai changé l’extension en .txt avant de le faire glisser sur le serveur.
Mais non, c’est mal. D’ailleurs cela provoque une erreur 500.
En fait, comme me l’a fait remarquer le technicien OVH au bout de quelques aller-retour par mail, le fichier édité ainsi gardera l’encodage rtf, même après le changement d’extension.
Veillez donc, si comme moi vous manquez de jugeote, à utiliser un vrai éditeur de texte ; j’ai pris TextWrangler et cela a très bien fonctionné. Il en existe plein d’autres.

Une fois PHP mis à jour en version 5.2, tout rentre dans l’ordre, WordPress s’installe parfaitement.

Une petite ressource, pour terminer : si vous souhaitez savoir quelles versions de PHP et MySQL votre serveur utilise, c’est par ici.