常见语料库使用入门

常见语料库使用入门——语言研究中的小技能get√华中师范大学语言研究所2015级秦志君PPT模板下载：行业PPT模板：节日PPT模板：素材下载：背景图片：图表下载：优秀PPT下载：教程：教程：教程：资料下载：课件下载：范文下载：试卷下载：教案下载：论坛：语料库(corpus)：存放语言材料的仓库。现代的语料库是指存放在计算机里的原始语料文本或经过加工后带有语言学信息标注的语料文本的汇集。三点基本认识：A.必须是实际使用中真实出现过的语言材料；B.须以计算机为必要载体；C.材料分析加工后才有用。语料库及其分类2语料库通用语料库专用语料库按用途书面语语料库按语体多语语料库双语/平行语料库母语语料库外语学习者语料库按是否母语历时语料库共时语料库按时效性生语语料库熟语语料库按是否被标注单语语料库按语种口语语料库语料库及其分类3第二节公共语料库检索公共语料库检索4统计频率查找例句验证分析参数设置带着问题收集证据基于检索公共语料库检索5我国21个知名语料库01.中央研究院近代汉语标记语料：中央研究院汉籍电子文献：国家现代汉语语料库：国家语委现代汉语语料库：树图数据库：语料库语言学在线：corpus4u.org07.北京大学CCL语料库：公共语料库检索6我国21个知名语料库08.北京大学《人民日报》标注语料库：北京语言大学的语料库：清华大学TH-ACorpus：山西大学语料库：台湾南岛语典藏：闽南语典藏：香港城市大学LIVAC共时语料库：公共语料库检索7我国21个知名语料库15.浙江师范大学的历史文献语库:中科院计算所语料库：中文语言资源联盟：多语言语料库：共时语料库：红楼梦汉英平行语料库：北京语言大学BCC语料库：公共语料库检索8国外18个知名英语语料库01.国际英语语料库(ICE):美国国家语料库(ANC)：美国当代英语语料库(COCA)：美国近当代英语语料库(COHA)：英国国家语料库(BNC)：柯林斯英语语料库(BOE)：英国英语语料库(SEU)：澳大利亚英语语料库（ACE）：新规范语料库(NMC)：公共语料库检索9国外18个知名英语语料库10.LLC口语语料库:语料库：东非等分库：语料库：语料库：语料库：语料库：语料库：朗曼语料库：公共语料库检索10小问题：一种语言现象我们至少得收集多少条语料呢？徐杰教授认为，语料多多益善，至少应收集500条。大数定律（LawofLargeNumbers）：指在随机试验中，每次出现的结果不同，但是大量重复试验出现的结果的平均值却几乎总是接近于某个确定的值。公共语料库检索11由收集验证到实证分析需要学点统计学抽样与调查离散与连续频率与分布描述与图示样本与总体估计与检验统计置信区间T检验公共语料库检索12由收集验证到实证分析需要学点统计学集中趋势的特征数：平均数、众数、中位数、调和平均数、几何平均数变异程度的特征数：极差、四分位差、平均差、方差、标准差参数估计与假设检验——以样本对总体的推断一般步骤（1）明确问题（2）收集信息（3）提出假设（4）构建模型（5）模型求解（6）分析检测公共语料库检索13由收集验证到实证分析需要学点统计学在自然现象和社会现象中，大量的随机变量都服从或近似地服从正态分布。大部分参数检验，比如t检验，方差分析，回归分析等，要求数据符合正态分布。三个基本点：1）呈钟形，形态如左图；2）两个参数，均值和标准差；3）图象大致表示：平均数周围的属性值在总体上占到大多数。正态分布公共语料库检索14公共语料库的检索说明——以BCC语料库为例初阶的进阶的仅输入关键字查找关键字特殊符号检索式搜索语料库检索≠百度一下公共语料库检索15公共语料库的检索说明——以BCC语料库为例统计公共语料库检索16公共语料库的检索说明——以BCC语料库为例检索式说明检索式可以是字串、词串、词性的组合而成的查询模式。例如：如果检索“我想吃”后面紧接着一个名词的语言实例，检索式为：我想吃n，这里n是词性符号，表示名词。公共语料库检索17公共语料库的检索说明——以BCC语料库为例检索式示例公共语料库检索18公共语料库的检索说明——以BCC语料库为例检索式示例公共语料库检索19公共语料库的检索说明——以BCC语料库为例特殊含义符号公共语料库检索20公共语料库的检索说明——以BCC语料库为例特殊含义符号公共语料库检索21公共语料库的检索说明——以BCC语料库为例词性列表公共语料库检索22公共语料库的检索说明——以BCC语料库为例构词公共语料库检索23公共语料库的检索说明——以BCC语料库为例构词合成词公共语料库检索24公共语料库的检索说明——以BCC语料库为例搭配公共语料库检索25公共语料库的检索说明——以BCC语料库为例离合公共语料库检索26公共语料库的检索说明——以BCC语料库为例句型公共语料库检索27公共语料库的检索说明——以BCC语料库为例定界公共语料库检索28公共语料库的检索说明——以BCC语料库为例构式公共语料库检索29公共语料库的检索说明——以BCC语料库为例构式公共语料库检索30公共语料库的检索说明——以BCC语料库为例自定义搜索公共语料库检索31公共语料库的检索说明——以BCC语料库为例检索结果公共语料库检索32公共语料库的检索说明——以BCC语料库为例历时检测公共语料库检索33公共语料库的检索说明——以BCC语料库为例检索统计公共语料库检索34公共语料库的检索说明——以BCC语料库为例筛选查看上下文如果想对检索结果进一步筛选，可以使用筛选功能，对检索结果进一步剔除或者仅仅保留符合筛选检索式的实例。公共语料库检索35公共语料库的检索说明——以BCC语料库为例下载高级设置公共语料库检索36公共语料库的检索说明——以BCC语料库为例句法树注意检索格式多摸索多使用依据调查需要设置调查项目学点儿统计学学点编程语言公共语料库检索37第三节个人语料库创建个人语料库创建38材料/工具准备阶段1、电脑、办公软件2、语料的选取标准3、语料库大小设定4、已收好集的语料5、采取txt格式保存生语料库熟语料库加工标注词性标记句法标记词义标记篇章指代标记韵律标记……若只是要词频数据，则生语料库足够，word/wps或txt记事本都可以建立word/wps的“查找替换”工具即可，txt记事本的“编辑-查找”工具也行。“宏”个人语料库创建39熟语料库加工阶段需要工具/材料：1、电脑、办公软件2、语料库加工工具2、语料的选取标准3、语料库大小设定4、已存的生语料库5、采取txt格式保存个人语料库创建40熟语料库加工阶段可以采用这个工具双击打开软件个人语料库创建41熟语料库加工阶段需要说明的是：自己找到的语料库必须是已经集中放好到“语料库”这样的文件夹中。点击打开文件个人语料库创建42熟语料库加工阶段打开“语料库”文件夹个人语料库创建43熟语料库加工阶段比如，选择“痴人”这个语料个人语料库创建44熟语料库加工阶段然后，点击“切分标注”即可个人语料库创建45熟语料库加工阶段然后，点击全选，复制到新建的一个txt文档，保存文件，得到一个熟语料然后，把新存的那个熟语料文件保存到一个新建的“熟语料库”文件夹中依据此法，逐一对生语料库中的单个语料进行“词性标注”，然后逐一保存到“熟语料库”中。这时，初加工的自建熟语料库的完成了。个人语料库创建46语料库的检索阶段双击该软件进入界面推荐使用的软件AntConc个人语