Python NLTK：SyntaxError：文件中的非 ASCII 字符“\xc3”（情绪分析-NLP）

Posted 2023-02-15

【中文标题】Python NLTK：SyntaxError：文件中的非 ASCII 字符“\\xc3”（情绪分析-NLP）

【英文标题】：Python NLTK: SyntaxError: Non-ASCII character '\xc3' in file (Sentiment Analysis -NLP)Python NLTK：SyntaxError：文件中的非 ASCII 字符“\xc3”（情绪分析-NLP）

【发布时间】：2015-01-10 00:41:46

【问题描述】：

我正在使用 NLTK 来完成关于情绪分析的任务。我正在使用 Python 2.7。 NLTK 3.0 和 NumPy1.9.1 版本。

这是代码：

__author__ = 'karan'
import nltk
import re
import sys



def main():
    print("Start");
    # getting the stop words
    stopWords = open("english.txt","r");
    stop_word = stopWords.read().split();
    AllStopWrd = []
    for wd in stop_word:
        AllStopWrd.append(wd);
    print("stop words-> ",AllStopWrd);

    # sample and also cleaning it
    tweet1= 'Love, my new toyí ½í¸í ½í¸#iPhone6. Its good https://twitter.com/Sandra_Ortega/status/513807261769424897/photo/1'
    print("old tweet-> ",tweet1)
    tweet1 = tweet1.lower()
    tweet1 = ' '.join(re.sub("(@[A-Za-z0-9]+)|([^0-9A-Za-z \t])|(\w+:\/\/\S+)"," ",tweet1).split())
    print(tweet1);
    tw = tweet1.split()
    print(tw)


    #tokenize
    sentences = nltk.word_tokenize(tweet1)
    print("tokenized ->", sentences)


    #remove stop words
    Otweet =[]
    for w in tw:
        if w not in AllStopWrd:
            Otweet.append(w);
    print("sans stop word-> ",Otweet)


    # get taggers for neg/pos/inc/dec/inv words
    taggers =
    negWords = open("neg.txt","r");
    neg_word = negWords.read().split();
    print("ned words-> ",neg_word)
    posWords = open("pos.txt","r");
    pos_word = posWords.read().split();
    print("pos words-> ",pos_word)
    incrWords = open("incr.txt","r");
    inc_word = incrWords.read().split();
    print("incr words-> ",inc_word)
    decrWords = open("decr.txt","r");
    dec_word = decrWords.read().split();
    print("dec wrds-> ",dec_word)
    invWords = open("inverse.txt","r");
    inv_word = invWords.read().split();
    print("inverse words-> ",inv_word)
    for nw in neg_word:
        taggers.update(nw:'negative');
    for pw in pos_word:
        taggers.update(pw:'positive');
    for iw in inc_word:
        taggers.update(iw:'inc');
    for dw in dec_word:
        taggers.update(dw:'dec');
    for ivw in inv_word:
        taggers.update(ivw:'inv');
    print("tagger-> ",taggers)
    print(taggers.get('little'))

    # get parts of speech
    posTagger = [nltk.pos_tag(tw)]
    print("posTagger-> ",posTagger)

main();

这是我在运行代码时遇到的错误：

SyntaxError: Non-ASCII character '\xc3' in file C:/Users/karan/PycharmProjects/mainProject/sentiment.py on line 19, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

如何解决这个错误？

我还尝试了使用 Python 3.4.2 和 NLTK 3.0 和 NumPy 1.9.1 的代码，但随后出现错误：

Traceback (most recent call last):
  File "C:/Users/karan/PycharmProjects/mainProject/sentiment.py", line 80, in <module>
    main();
  File "C:/Users/karan/PycharmProjects/mainProject/sentiment.py", line 72, in main
    posTagger = [nltk.pos_tag(tw)]
  File "C:\Python34\lib\site-packages\nltk\tag\__init__.py", line 100, in pos_tag
    tagger = load(_POS_TAGGER)
  File "C:\Python34\lib\site-packages\nltk\data.py", line 779, in load
    resource_val = pickle.load(opened_resource)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xcb in position 0: ordinal not in range(128)

【参考方案1】：

将以下内容添加到文件顶部# coding=utf-8

如果您转到错误中的链接，您可以看到原因：

定义编码

如果没有其他编码，Python 将默认使用 ASCII 作为标准编码 给出了编码提示。 要定义源代码编码，必须使用魔术注释 作为第一个或第二个放入源文件中 文件中的行，例如： # 编码=

【讨论】：

好的，我是 python 的新手，u"a" 和 u"ã" 在同一行

@IulianOnofrei，对于u"ã"，您需要声明编码。你收到错误了吗？

@PadraicCunningham，我确实使用codecs.encode(u"ã", "utf-8") 声明它，错误来自u"a" （添加魔术评论后，ofc），所以现在一切都很好，谢谢。

花了一个小时解决这个问题 解决方案：魔术评论。 掌心

我添加了“魔术注释”并且没有收到该错误，但是 os.path.isfile() 说带有é 的文件名不存在。具有讽刺意味的是，e 中的字符 e 是错误链接到的 PEP 的作者。