江苏龙网

  1. 主页 > 生活百科 > >

5个Python库可以帮你轻松的进行自然语言预处理

Python库

自然语言是指人类相互交流的语言，而自然语言处理是将数据以可理解的形式进行预处理，使计算机能够理解的一种方法 。简单地说，自然语言处理(NLP)是帮助计算机用自己的语言与人类交流的过程 。
自然语言处理是最广泛的研究领域之一 。许多大公司在这个领域投资很大 。NLP为公司提供了机会，让他们能够根据消费者的情绪和文本很好地了解他们 。NLP的一些最佳用例是检测假电子邮件、对假新闻进行分类、情感分析、预测你的下一个单词、自动更正、聊天机器人、个人助理等等 。
解决任何NLP任务前要知道的7个术语
标记：它是将整个文本分割成小标记的过程 。占卜是根据句子和单词两个基础来完成的 。
text = "Hello there, how are you doing today? The weather is great today. Python is awsome"
##sentece tokenize (Separated by sentence)
['Hello there, how are you doing today?', 'The weather is great today.', 'python is awsome']
##word tokenizer (Separated by words)
['Hello', 'there', ',', 'how', 'are', 'you', 'doing', 'today', '?', 'The', 'weather', 'is', 'great', 'today', '.','python', 'is', 'awsome']
停止词：一般来说，这些词不会给句子增加太多的意义 。在NLP中，我们删除了所有的停止词，因为它们对分析数据不重要 。英语中总共有179个停止词 。
词干提取：它是通过去掉后缀和前缀将一个单词还原为词根的过程 。
词形还原：它的工作原理与词干法相同，但关键的区别是它返回一个有意义的单词 。主要是开发聊天机器人、问答机器人、文本预测等 。
WordNet：它是英语语言名词、动词、形容词和副词的词汇数据库或词典，这些词被分组为专门为自然语言处理设计的集合 。
词性标注：它是将一个句子转换为一个元组列表的过程 。每个元组都有一个形式(单词、标记) 。这里的标签表示该单词是名词、形容词还是动词等等 。
text = 'An sincerity so extremity he additions.'
--------------------------------
('An', 'DT'), ('sincerity', 'NN'), ('so', 'RB'), ('extremity', 'NN'), ('he', 'PRP'), ('additions', 'VBZ')]
词袋：它是一个将文本转换成某种数字表示的过程 。比如独热编码等 。
sent1 = he is a good boy
sent2 = she is a good girl
|
|
girl good boy
sent1 0 1 1
sent2 1 0 1
现在，让我们回到我们的主题，看看可以帮助您轻松预处理数据的库 。
NLTK毫无疑问，它是自然语言处理最好和使用最多的库之一 。NLTK是自然语言工具包的缩写 。由Steven Bird 和Edward Loper开发的 。它带有许多内置的模块，用于标记化、词元化、词干化、解析、分块和词性标记 。它提供超过50个语料库和词汇资源 。
安装:pip install nltk
让我们使用NLTK对给定的文本执行预处理
import nltk
#nltk.download('punkt')
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer
import re
ps = PorterStemmer()
text = 'Hello there,how are you doing today? I am Learning Python.'
text = re.sub("[^a-zA-Z0-9]"," ",text)
text = word_tokenize(text)
text_with_no_stopwords = [ps.stem(word) for word in text if word not in stopwords.words('english')]
text = " ".join(text_with_no_stopwords)
text
-----------------------------------------------OUTPUT------------------------------------
'hello today I learn python'
TextBlobTextblob是一个简化的文本处理库 。它提供了一个简单的API，用于执行常见的NLP任务，如词性标记、情感分析、分类、翻译等 。
安装:pip install textblob
spacy这是python中最好用的自然语言处理库之一，它是用cpython编写的 。它提供了一些预训练的统计模型，并支持多达49种以上的语言进行标记化 。它以卷积神经网络为特征，用于标记、解析和命名实体识别 。
安装:pip install spacy
import spacy
nlp = spacy.load('en_core_web_sm')
text = "I am Learning Python Nowdays"
text2 = nlp(text)
for token in text2:
print(token,token.idx)
------------------------------OUTPUT-----------------------
I 0
am 2
Learning 5
Python 14
Nowdays 21
Gensim它是一个Python库，专门用于识别两个文档之间的语义相似性 。它使用向量空间建模和主题建模工具包来寻找文档之间的相似之处 。它是设计用来处理大型文本语料库的算法 。


推荐阅读


上一篇：作为Web开发人员应避免的10种CSS做法

下一篇：人工智能在网络安全领域中的应用场景