一:查询语言介绍
1.为什么不使用sql
关系型数据库查询语言——SQL
方式:数据以表的形式存在, 有比较强的schema定义, 表和表之间的数据关联以join的方式实现.
缺点:MySQL主要是存储和查询二维表数据,对三元组数据没有单独意义;
多跳关联查询需要多表连接,效率低
2.图数据查询语言的区别
二:命名实体识别(NER)
2.1基础知识
2.1.1什么是NER
实体:文本之中承载信息的语义单元。
常见的实体包括七种类别:人名、地名、机构名、时间、日期、货币、百分比。
实体抽取:又称为命名实体识别,指的是从文本之中抽取出命名性实体,并把这些实体划分到指定的类别。
2.1.2识别后格式
原文本:
命名实体后的文本:
总体是字典格式,里面的命名实体是双层列表嵌套格式,下标是左闭右开.
补充:文本分类后的格式
2.2命名实体识别的方法
2.2.1基于规则的方法实现NER
使用自定义规则匹配NER:
eg:使用正则表达式匹配NER
优点:方便,快捷
缺点:泛用性差,后期格式越来越复杂,难以维护
2.2.2基于机器学习方法实现NER
机器学习把NER转换为序列标注任务
1.实现步骤:
人工选择特征
训练模型
预测实体
2.模型选择
机器学习的方法是把实体抽取任务转换为序列任务,每个token做标注(理论上所有分类模型都可以作为标注模型,但是效果最好的是条件随机场(CRF)):
B:开头
E:结尾
3.缺点:
缺点:依赖特征的选择,特征选择的不好,很难有好的效果.
2.2.3基于深度学习的方法实现NER
深度学习也是把NER转换为序列标注任务
1.概念:
基于深度学习的方法主要使用神经网络模型,结合条件随机场模型。常用的神经网络模型包括卷积神经网络(CNN)、循环神经网络(RNN)、长短期记忆网络(LSTM)等,其中BiLSTM-CRF是目前最为常用的命名实体识别模型
2.原理:
3.优缺点
优点:特征靠模型自己提取
缺点:需要大量的标注文本
2.3NER评测标准
精确率:模型识别出来的实体中,被所有预测为正的样本中实际为正样本的概率
召回率:模型识别出来的实体中,实际为正的样本中被预测为正样本的概率
F1值: 准确率和召回率的调和平均值,可以对系统的性能进行综合性的评价