文本关键词提取方法及具体操作步骤。

在搜索引擎中,通过处理海量的文本关键词进而尽可能满足用户搜索需求是搜索引擎核心,无论一篇文章的长短,搜索引擎都可以通过提取关键词的方法来判断整篇文章的主题,因此如何判断一篇文章的核心关键词是什么非常重要,下面关于为什么要做关键词提取以及基于TF-IDF的文本关键词抽取方法作简单介绍。

文本关键词提取方法及具体操作步骤。

为什么要做关键词提取

关键字提取是文本挖掘领域的一个重要组成部分。从文本中提取关键词有三种方法:监督、半监督和无监督。监督关键字提取算法是将关键字提取算法构造为两类问题来判断文档中的词或短语是否为关键字。由于这是一个分类问题,因此有必要提供标记的训练预测。训练语料库用于训练关键词提取模型。根据该模型,对需要提取关键字的文档的关键字提取算法进行了半监督。

构造关键词提取模型只需要少量的训练数据,然后利用模型对新文本进行检查。关键字提取,手动筛选这些关键字,并将筛选后的关键字添加到培训集以重新培训模型。无监督的方法不需要手动标记语料库。一些方法被用来寻找文本中更重要的词作为关键字并提取关键字。监督文本关键字提取算法要求人工成本高,现有的文本关键字提取主要采用无监督关键字提取,适用性强。

文本关键字提取的过程如下:无监督文本关键字提取流程图无监督关键字提取算法可分为三类:基于统计特征的关键字提取、基于词图模型的关键字提取和基于主题模型的关键字提取。基于统计特征的文本关键字提取算法基于统计特征的关键字提取算法基于统计特征的关键字提取算法是利用文档中的统计信息提取关键字。

一般情况下,文本经过预处理得到候选词集,然后通过特征值量化从候选词集中获得关键词。基于统计特征的关键词提取方法的关键是采用何种特征值量化指标。

基于TF-IDF的文本关键词抽取方法

词频(Term Frequency,TF)

指某一给定词语在当前文件中出现的频率。由于同一个词语在长文件中可能比短文件有更高的词频,因此根据文件的长度,需要对给定词语进行归一化,即用给定词语的次数除以当前文件的总词数。

逆向文件频率(Inverse Document Frequency,IDF)

是一个词语普遍重要性的度量。即如果一个词语只在很少的文件中出现,表示更能代表文件的主旨,它的权重也就越大;如果一个词在大量文件中都出现,表示不清楚代表什么内容,它的权重就应该小。

TF-IDF的主要思想是,如果某个词语在一篇文章中出现的频率高,并且在其他文章中较少出现,则认为该词语能较好的代表当前文章的含义。即一个词语的重要性与它在文档中出现的次数成正比,与它在语料库中文档出现的频率成反比。

TF-IDF是对文本所有候选关键词进行加权处理,根据权值对关键词进行排序。假设Dn为测试语料的大小,该算法的关键词抽取步骤如下所示:

文本关键词提取方法及具体操作步骤。

(1) 对于给定的文本D进行分词、词性标注和去除停用词等数据预处理操作。本分采用结巴分词,保留'n','nz','v','vd','vn','l','a','d'这几个词性的词语,最终得到n个候选关键词,即D=[t1,t2,…,tn] ;

(2) 计算词语ti 在文本D中的词频;

(3) 计算词语ti 在整个语料的IDF=log (Dn /(Dt +1)),Dt 为语料库中词语ti 出现的文档个数;

(4) 计算得到词语ti 的TF-IDF=TF*IDF,并重复(2)—(4)得到所有候选关键词的TF-IDF数值;

(5) 对候选关键词计算结果进行倒序排列,得到排名前TopN个词汇作为文本关键词。

上述关于文本关键词提取方法及具体操作步骤作简单介绍,希望这些知识对您有所帮助!

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/67267.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
优化家优化家订阅用户
上一篇 2022年8月24日 23:55
下一篇 2022年8月24日 23:55

相关推荐

  • 如何做SEO优化会事半功倍。

    大多数人开始做SEO时,他们没有一个很好的了解SEO。也许他们一开始会有收获。但是如果你对网站建设中的SEO没有很好的了解,以后你会发现你的大方向是不正确的。1、 SEO的关键是实战。说你可以通过阅读SEO教程来学习…

    2023年3月2日
    00
  • 我来教你中小企业更要搞好互联网网络营销的几大原因。

    中小企业更要搞好互联网网络营销的几大原因,就目前的竞争局势看,几乎所有的大企业在做线下推广的同时,依然会大力做好线上营销。甚至有一大批企业在资金充足的情况下,将更多的营销精力投放在网络渠道。为什么企…

    2022年10月31日
    022
  • 长尾关键词的优化特点。

    在网站优化中,长尾关键字是获取网站流量的重要组成部分。一般来说,网站的品牌词和目标词是固定的,而且数量很少。如果网站想要获得更多的流量,就需要挖掘大量的长尾关键词,并且一些核心目标词具有竞争力,而长…

    2023年2月21日
    00
  • 浅谈标准的点击率和转化率。

    作为各个网站的站长经常会碰到这种问题,很多客户或潜在客户都会问到同样的问题,这些问题涉及到行业标准等,这是一些很难做出准确回答的其中就有人问到“对于一次广告的宣传活动来说,什么是标准的点击率或转…

    2022年8月21日
    0156
  • 微博推广理念。

    随着时代的发展,互联网已经成为现代人们不可或缺的一部分,如果在大街上随机调查,你会发现大部分人都有自己的微博,而且已经渗透到每一个人的生活当中,有很多人都已经养成了一个习惯,每天都必做的一件事就是看…

    2022年8月21日
    0144
  • 超多案例!新手必看的交互设计七大法则。

    编辑导语:怎么样让设计出来的产品更加美观,更加符合大众审美呢?设计师有一些理论上的知识可以引用,本文作者分享了关于交互设计的七大定律法则,我们一起来了解一下。有时在一些设计师讨论分享会,或者和一些非…

    2023年3月2日 SEO操作
    06
  • 将SEO优化和竞价排名集中对比,帮助企业选择适合自己的营销方式。

    鉴于目前大量用户比较关注网站的选择SEO优化和竞争排名,本文将两者放在一起进行集中比较。利与弊一目了然。希望通过本文能帮助中小企业选择适合自己的网站推广手段。SEO(SEO)与关键词竞价排名的区别SEO优化一旦…

    2023年2月25日
    02
  • 企业为什么要做seoseo好做吗。

    品牌是一种无形资产,也是企业展示自身形象的重要途径。许多企业将通过SEO在线推广和推广他们的产品。但是,有些人仍然不相信SEO、SEO是什么用途,为什么要做SEO,?SEO容易做,很多SEO工作每天都试着做SEO,尽一切…

    2022年8月23日
    0113

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息