IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 自然语言处理NLP -> 正文阅读

[人工智能]自然语言处理NLP

??一直听说有一个研究领域是NLP,但一直没有时间了解,借这篇文章对NLP做个简单了解。文章围绕如下几个问题:
??1.什么是NLP?
??2.NLP的构成
??3.NLP的一些具体应用场景和研究现状
??4.如何学习NLP?

1.什么是NLP?

??首先先要明确NLP不是某一项具体的技术,而是一个很大的领域。
??自然语言处理 (NLP,Natural Language Processing),先给个定义:自然语言处理(NLP)指以计算机为工具解决一系列现实中和自然语言相关的问题。可以分成两部分理解:自然语言、处理过程。首先自然语言就是人类市场交流所使用的语音和字符系统,换句话说字符系统就是NLP的研究对象,处理过程指对字符进行理解融合应用。计算机接受用户自然语言形式的输入,并在内部通过人类所定义的算法进行加工、计算等系列操作,以模拟人类对自然语言的理解,并返回用户所期望的结果

??NLP目前属于AI中一个比较火的方向,有人将人工智能分为三大领域,计算机视觉(CV),自然语言处理(NLP)以及语音识别。NLP属于比较困难的部分

2.NLP由什么组成?

??NLP算法的三个级别:简单匹配式、模糊匹配式和段落理解式
??NLP处理的三个维度:单词、句子、句子语义
??关于NLP的组成,要说下和NLP相关的两个概念。有一个等式说:NLP=NLU+NLG,来具体看看:
??自然语言理解(Natural Language Understanding, NLU)——理解文本中的意思,NLU对应的是理解俚语、错误发音、拼写错误以及其他语言变体的能力

??自然语言生成(Natural Language Generation, NLG)——根据意思生成文本,NLG对应的是计算机自行创建通信的能力
NLU侧重于如何理解文本,包括文本分类、命名实体识别、指代消歧、句法分析、机器阅读理解等;NLG则侧重于理解文本后如何生成自然文本,包括自动摘要、机器翻译、问答系统、对话机器人等。两者间不存在有明显的界限
??以上两个其实算笼统的概念,下面列举了NLP中一些具体的支撑技术手段:

在这里插入图片描述
图源:https://www.cnblogs.com/cxy2020/p/14640463.html

??但NLP研究目前是有困难的,源于如下几个方面:
????1)文字中相同一种含义,却有多种表达方式
????2)一词多义
????3)在处理的各个阶段都会出现误差,最终串行误差累加
??在这篇博客中也简要提到了几个方面:NLP遇到的困难:自然语言处理入门第一章笔记

3.NLP的应用场景及研究现状

??NLP应用场景
??主要包括智能问答系统、文本生成、机器翻译、情感分析、聊天机器人、虚假新闻检测、文本主题分类、信息抽取
??NLP的研究现状
??NLP的研究已经初具成果,现在有许多流行NLP软件,在此做一下列举:

?自然语言工具包(NLTK)。自然语言工具包(NLTK)是一个开放源代码框架,用于构建Python程序以使用人类语言数据。它是在宾夕法尼亚大学计算机和信息科学系开发的,为50多个语料库和词汇资源库、一个文本处理库、自然语言处理库和论坛提供接口。自然语言工具包(NLTK)是在Apache2.0许可下提供的。
?SpaCy。SpaCy是一个开放源代码库,用于高级自然语言处理,专门为生产目的而非研究目的而设计。SpaCy的设计充分考虑了高级数据科学,并允许深度数据挖掘。它是由麻省理工学院授权的。
?Gensim。Gensim是一个用于自然语言处理的开源Python库。独立于平台的库支持可扩展的统计语义、针对语义结构的纯文本文档分析以及检索语义相似文档的能力。可以在无需人工监督的情况下处理大量文本。
?AmazonComprehend。这项Amazon服务不需要机器学习的经验。它旨在帮助组织从电子邮件、客户评论、社交媒体、支持通知单和其他文本中获得见解。它使用情感分析、词性提取和标记化来分析单词背后的意图。
?IBMWatson音频分析器。这个基于云计算的解决方案旨在用于社交监听、聊天机器人集成和客户服务监控。它可以分析客户帖子中的情绪和语气,并监视客户服务电话和聊天对话。
?谷歌云翻译。这个API使用自然语言处理来检查源文本以确定语言,然后使用神经机器翻译将文本动态翻译为另一种语言。这个API允许用户将功能集成到他们自己的程序中。

参考:自然语言处理的前景是怎样的

4.如何学习NLP呢?

??关于具体如何学习还没有去深刻研究,毕竟目前还没有这方面的需求,不过可以肯定的是机器学习是基础,但也要明白机器学习、深度学习是解决这些问题的具体手段

??在这里留一些学习NLP资源吧:
GitHub - km1994/nlp_paper_study: 该仓库主要记录 NLP 算法工程师相关的顶会论文研读笔记
如何系统性地学习NLP 自然语言处理? - 知乎 (zhihu.com)

最后留一些参考资料吧:
NLP训练数据集:The NLP Index (quantumstat.com)
NLP常用库:自然语言处理NLP概述
自然语言NLP处理概述

因作者水平有限,如有错误之处,请在下方评论区指正,谢谢!

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-08-06 10:44:55  更:2022-08-06 10:44:58 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 -2024/12/29 9:19:17-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码
数据统计