自然语言处理中N-Gram模型的Smoothing算法

自然语言处理信息检索 专栏收录该内容
21 篇文章 1249 订阅 ¥99.00 ¥19.90

在之前的文章《自然语言处理中的N-Gram模型详解》里,我们介绍了NLP中的N-Gram模型。最后谈到,为了解决使用N-Gram模型时可能引入的稀疏数据问题,人们设计了多种平滑算法,本文将讨论其中最为重要的几种。

  • Add-one (Laplace) Smoothing
  • Add-k Smoothing(Lidstone’s law)
  • Backoff
  • Interpolation
  • Absolute Discounting
  • Kneser-Ney Smoothing

欢迎关注白马负金羁的博客 http://blog.csdn.net/baimafujinji,为保证公式、图表得以正确显示,强烈建议你从该地址上查看原版博文。本博客主要关注方向包括:数字图像处理、算法设计与分析、数据结构、机器学习、数据挖掘、统计分析方法、自然语言处理。


Add-one (Laplace) Smoothing

Add-one是最简单、最直观的一种平滑算法。既然希望没有出现过的N-Gram的概率不再是0,那就不妨规定任何一个N-Gram在训练语料至少出现一次(即规定没有出现过的N-Gram在训练语料中出现了一次),则:

  • 21
    点赞
  • 5
    评论
  • 18
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 精致技术 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值