python3 將帶有BOM的UTF-8轉換為UTF-8,在Python中沒有BOM



utf 16 converter (5)

這裡有兩個問題。 我有一組文件,通常是帶有BOM的UTF-8。 我想將它們(理想情況下)轉換為沒有BOM的UTF-8。 看起來像codecs.StreamRecoder(stream, encode, decode, Reader, Writer, errors)會處理這個問題。 但我真的沒有看到任何關於使用的好例子。 這是處理這個問題的最佳方法嗎?

source files:
Tue Jan 17$ file brh-m-157.json 
brh-m-157.json: UTF-8 Unicode (with BOM) text

此外,如果我們能夠處理不同的輸入編碼而不明確地知道(看到ASCII和UTF-16),那將是理想的。 看起來這應該都是可行的。 是否有一個解決方案可以將任何已知的Python編碼和輸出作為UTF-8而不使用BOM?

從下面編輯1提出的sol'n(謝謝!)

fp = open('brh-m-157.json','rw')
s = fp.read()
u = s.decode('utf-8-sig')
s = u.encode('utf-8')
print fp.encoding  
fp.write(s)

這給了我以下錯誤:

IOError: [Errno 9] Bad file descriptor

新聞快報

我在評論中被告知錯誤是我用模式'rw'而不是'r +'/'r + b'打開文件,所以我最終應該重新編輯我的問題並刪除已解決的部分。


Answer #1

只需使用“utf-8-sig”編解碼器

fp = open("file.txt")
s = fp.read()
u = s.decode("utf-8-sig")

這為您提供了沒有BOM的unicode字符串。 然後你可以使用

s = u.encode("utf-8")

s獲取正常的UTF-8編碼字符串。 如果您的文件很大,那麼您應該避免將它們全部讀入內存。 BOM只是文件開頭的三個字節,因此您可以使用此代碼將它們從文件中剝離出來:

import os, sys, codecs

BUFSIZE = 4096
BOMLEN = len(codecs.BOM_UTF8)

path = sys.argv[1]
with open(path, "r+b") as fp:
    chunk = fp.read(BUFSIZE)
    if chunk.startswith(codecs.BOM_UTF8):
        i = 0
        chunk = chunk[BOMLEN:]
        while chunk:
            fp.seek(i)
            fp.write(chunk)
            i += len(chunk)
            fp.seek(BOMLEN, os.SEEK_CUR)
            chunk = fp.read(BUFSIZE)
        fp.seek(-BOMLEN, os.SEEK_CUR)
        fp.truncate()

它打開文件,讀取一個塊,並將其寫入文件,比讀取文件早3個字節。 該文件就地重寫。 更簡單的解決方案是將較短的文件寫入新文件,如newtover的答案 。 這會更簡單,但在短時間內使用兩倍的磁盤空間。

至於猜測編碼,那麼你可以從大多數到最不具體的循環編碼:

def decode(s):
    for encoding in "utf-8-sig", "utf-16":
        try:
            return s.decode(encoding)
        except UnicodeDecodeError:
            continue
    return s.decode("latin-1") # will always work

UTF-16編碼的文件不能解碼為UTF-8,因此我們首先嘗試使用UTF-8。 如果失敗,那麼我們嘗試使用UTF-16。 最後,我們使用Latin-1 - 這將始終有效,因為所有256個字節都是Latin-1中的合法值。 在這種情況下,您可能希望返回None ,因為它實際上是一個後備,並且您的代碼可能希望更仔細地處理它(如果可以)。


Answer #2

這是我的實現,將任何類型的編碼轉換為沒有BOM的UTF-8,並用通用格式替換windows enlines:

def utf8_converter(file_path, universal_endline=True):
    '''
    Convert any type of file to UTF-8 without BOM
    and using universal endline by default.

    Parameters
    ----------
    file_path : string, file path.
    universal_endline : boolean (True),
                        by default convert endlines to universal format.
    '''

    # Fix file path
    file_path = os.path.realpath(os.path.expanduser(file_path))

    # Read from file
    file_open = open(file_path)
    raw = file_open.read()
    file_open.close()

    # Decode
    raw = raw.decode(chardet.detect(raw)['encoding'])
    # Remove windows end line
    if universal_endline:
        raw = raw.replace('\r\n', '\n')
    # Encode to UTF-8
    raw = raw.encode('utf8')
    # Remove BOM
    if raw.startswith(codecs.BOM_UTF8):
        raw = raw.replace(codecs.BOM_UTF8, '', 1)

    # Write to file
    file_open = open(file_path, 'w')
    file_open.write(raw)
    file_open.close()
    return 0

Answer #3
import codecs
import shutil
import sys

s = sys.stdin.read(3)
if s != codecs.BOM_UTF8:
    sys.stdout.write(s)

shutil.copyfileobj(sys.stdin, sys.stdout)

Answer #4

我發現這個問題是因為在使用UTF8 BOM頭打開文件時遇到configparser.ConfigParser().read(fp)

對於那些正在尋找刪除標題的解決方案的人,以便ConfigPhaser可以打開配置文件而不是報告錯誤: File contains no section headers ,請打開如下文件:

        configparser.ConfigParser().read(config_file_path, encoding="utf-8-sig")

通過不必刪除文件的BOM頭,這可以節省大量的工作。

(我知道這聽起來不相關,但希望這可以幫助人們像我一樣掙扎。)


Answer #5

在Python 3中,它非常簡單:讀取文件並使用utf-8編碼重寫它:

s = open(bom_file, mode='r', encoding='utf-8-sig').read()
open(bom_file, mode='w', encoding='utf-8').write(s)




byte-order-mark