Comment détecter automatiquement l'encodage d'un fichier texte ?

Essayez le module chardet Python, qui est disponible sur PyPi :

pip install chardet

Puis lancez chardetect myfile.txt.

Chardet est basé sur le code de détection utilisé par Mozilla, il devrait donc donner des résultats raisonnables, à condition que le texte d'entrée soit suffisamment long pour une analyse statistique. Veuillez lire la documentation du projet .

Comme mentionné dans les commentaires, il est assez lent, mais certaines distributions proposent également la version C++ originale comme @Xavier l'a trouvé dans https://superuser.com/a/609056 . Il existe également une version Java quelque part.

Sous Linux basé sur Debian, le paquet uchardet Debian / Ubuntu ) fournit un outil en ligne de commande. Voir ci-dessous la description du paquet :

universal charset detection library - cli utility
 .
 uchardet is a C language binding of the original C++ implementation
 of the universal charset detection library by Mozilla.
 .
 uchardet is a encoding detector library, which takes a sequence of
 bytes in an unknown character encoding without any additional
 information, and attempts to determine the encoding of the text.
 .
 The original code of universalchardet is available at
 http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet
 .
 Techniques used by universalchardet are described at
 http://www.mozilla.org/projects/intl/UniversalCharsetDetection.html

Pour Linux, il y a enca et pour Solaris, vous pouvez utiliser auto_ef .

Mozilla a une belle base de code pour l'auto-détection dans les pages web : http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet/src/

Description détaillée de l'algorithme : http://www-archive.mozilla.org/projects/intl/UniversalCharsetDetection.html

Pour ceux qui utilisent régulièrement Emacs, les éléments suivants peuvent leur être utiles (ils permettent d'inspecter et de valider manuellement la transfomation).

De plus, je trouve souvent que l'auto-détection des jeux de caractères d'Emacs est beaucoup plus efficace que les autres outils d'auto-détection des jeux de caractères (comme le chardet).

(setq paths (mapcar 'file-truename '(
 "path/to/file1"
 "path/to/file2"
 "path/to/file3"
)))

(dolist (path paths)
  (find-file path)
  (set-buffer-file-coding-system 'utf-8-unix)
  )

Ensuite, un simple appel à Emacs avec ce script en argument (voir l'option “-l”) fait le travail.

isutf8 (du paquet moreutils) a fait le travail

Pour en revenir au chardet (python 2. ?), cet appel pourrait suffire :

python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())' < file
{'confidence': 0.98999999999999999, 'encoding': 'utf-8'}

Bien que ce soit loin d'être parfait….

echo "öasd" | iconv -t ISO-8859-1 | python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())'
{'confidence': 0.5, 'encoding': 'windows-1252'}

L'UTFCast vaut la peine d'être essayé. Ça n'a pas marché pour moi (peut-être parce que mes fichiers sont terribles) mais ça a l'air bien. http://www.addictivetips.com/windows-tips/how-to-batch-convert-text-files-to-utf-8-encoding/

Aussi dans le cas où vous déposez -i vous donne

Vous pouvez utiliser cette commande php qui peut deviner le charset comme ci-dessous :

En php vous pouvez vérifier comme ci-dessous :

En spécifiant explicitement la liste de codage :

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

Plus précis “ mb_list_encodings” :

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Ici dans le premier exemple, vous pouvez voir que j'ai mis une liste d'encodages (ordre de la liste de détection) qui pourraient correspondre. Pour obtenir un résultat plus précis, vous pouvez utiliser tous les encodages possibles via : mb_list_encodings()

Note : les fonctions mb_* nécessitent une php-mbstring

apt-get install php-mbstring

Voir la réponse : https://stackoverflow.com/a/57010566/3382822