tokenizing预处理文本与scikit学习

r8xiu3jd  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(220)

我最近创建了一个hadoop作业,它接受数千个文本文件并执行一些基本的文本处理。当工作完成后,我有两个输出文件,我用它来训练积极和消极的情绪。两个文件如下所示:
单词1出现次数
...
单词出现次数
我想使用sci工具包学习使用支持向量机进行分类,但我不确定如何进行分类,因为我不确定如何正确标记我的数据集。所有教程都假定您正在将原始文本文件提供给 sklearn.feature_extraction.text.CountVectorizer 没有做任何预处理。我试过用 FeatureHasher 同样,它不是散列一个单词并创建一个稀疏矩阵,而是为我传递给它的每个字符创建一个散列。
也就是说,有没有人对提取特征并将其传递给机器学习算法的最佳方法有什么想法?谢谢!

rqcrx0a6

rqcrx0a61#

看一看变压器。
由于您使用的是文本特征,tf idf representation将为每个特征(单词)指定一个数字,表示其在文本中的重要性。这种表示在基于文本的分类中非常常见。
tfidftranformer将输出一个矩阵,其中包含文件中使用的所有单词,每行表示一个文档,行中的每个单元格表示一个功能(单词),单元格中的值表示该功能的重要性。
确保以适当的格式(矩阵)将字数数据传递给它,然后使用这个tfidfttransformer的输出可以训练分类器。
(到目前为止,我还没有使用它,只使用了矢量器版本,但我看到过它可以满足您的需求的场景)。

nfg76nw0

nfg76nw02#

这也许能帮助你开始。

import numpy as np
import copy
from numpy import *
from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.svm import LinearSVC
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.multiclass import OneVsRestClassifier
from sklearn import preprocessing

x_temp_list = []
y_temp_list = []
y_train_text = []
temp_list = []
another_temp_list = []

with open('newtrain.csv','r') as fp:
    lines = fp.readlines()

for line in lines:
    if len(line.strip()) > 1:
        fields = line.split(',')
        if len(line.split(',')) == 2:
            x_temp_list.append(fields[0].strip())
            y_temp_list.append(fields[1].strip())

X_train = np.array(x_temp_list)
y_train_text = np.array(y_temp_list)

X_test = np.array(['Barista'])

mlb = preprocessing.LabelBinarizer()
Y = mlb.fit_transform(y_train_text)

classifier = Pipeline([
    ('vectorizer', CountVectorizer()),
    ('tfidf', TfidfTransformer()),
    ('clf', OneVsRestClassifier(LinearSVC()))])

classifier.fit(X_train, Y)
predicted = classifier.predict(X_test)
all_labels = mlb.inverse_transform(predicted)

# all_labels = lb.inverse_transform(predicted)

for item, labels in zip(X_test, all_labels):
    print '%s => %s' % (item, labels)

相关问题