MDSS-V0.3 使用手册-v4

海量数据存储检索系统SQL-LIKE语言使用手册——MDSS-V0.3——2/19目录1SQL-LIKE语言使用手册..........................................................................................41.1MDSS-V0.3系统功能概述..............................................................................41.2SQL-LIKE中的数据类型................................................................................41.3SQL-LIKE语法使用说明................................................................................51.3.1CREATE.........................................................................................................51.3.2INSERT.........................................................................................................61.3.3SELECT.........................................................................................................61.3.4聚合函数....................................................................................................71.3.5时间表达式函数........................................................................................81.4SQL-LIKE使用中注意的问题........................................................................91.4.1where中多个条件的优先级说明..............................................................91.4.2几点使用限制说明....................................................................................92MDSS-V0.3SHELL操作手册..................................................................................112.1进入shell系统..........................................................................................112.2SHELL操作方法............................................................................................1130.3版本新增功能..................................................................................................153.1几个常用命令的符号链接..........................................................................153.1.1进入SHELL命令......................................................................................153.1.2检索结果文件导出命令..........................................................................153.1.3根据文件构建检索条件并导出检索结果命令......................................153.2域名分级检索功能......................................................................................163.2.1域名分级定义..........................................................................................163.2.2MDSS中域名分级函数的使用..................................................................164命令行操作方法.....................................................................................................184.1基本功能......................................................................................................184.2语法..............................................................................................................183/194.3举例..............................................................................................................194/191SQL-LIKE语言使用手册1.1MDSS-V0.3系统功能概述SQL-LIKE是为MDSS系统设计的数据检索语言，MDSS-v0.3系统主要功能如下：提供二维表格数据模型；以一条记录为原子操作；利用分布式存储框架，实现数据和索引的分布存储、并发检索功能；在单一表空间内利用SQL-LIKE语言实现：精确查询，模式查询，多属性查询，区间查询，统计排序，函数聚合等检索功能；支持近期数据的快查（近期缓存在集群内存中）功能；1.2SQL-LIKE中的数据类型目前MDSS-V0.3SQL-LIKE语言支持六种基本数据类型包括：INTEGER或INT、IPV4_ADDR、IPV6_ADDR、CHAR、STORE、TIMESTAMP六类：INTEGER或INT，IPV4_ADDR、IPV6_ADDR、CHAR支持where条件查询，STORE不支持where条件查询，直接保存数据，每种类型使用规则如下：整数类型：关键字：INTEGER或INT例如：IDINTEGER；说明：INTEGER类型字段支持算术比较（,,=），支持统计查询(SUM，COUNT，AVG)；IP字段类型：关键字：IPV4_ADDR,IPV6_ADDR。IPV4_ADDR保存IPV4类型的IP地址，IPV6_ADDR保存IPV6类型的IP地址例如：sipIPV4_ADDR；说明：支持IP类型数据的区间检索、子网检索；sip=[10.10.10.0to10.10.10.255],表示sip在整个10.10.10.*段的IP地址；索引类型：关键字CHAR说明：CHAR类型字段建立索引，支持精确查询，模糊查询；5/19存储类型：关键字：STORE说明：STORE类型字段直接存储到数据文件中，不支持where查询条件；时间类型：关键字TIMESTAMP说明：记录以字符串形式记录的时间信息，以秒为单位,TIMESTAMP使用“年月日时分秒”时间字符串表示，如“20110514060606”表示2011年5月14日6点6分6秒；1.3SQL-LIKE语法使用说明SQL-LIKE是为海量数据存储系统MDSS设计的数据检索操作语言。SQL-LIKE通过提取标准SQL语言中的核心操作逻辑，支持针对单表空间的多维属性查询、统计操作。SQL-LIKE具体实现如下三类功能操作：表空间管理、数据查询统计、数据管理等操作，基本使用规则如下：命令、关键字不区分大小写，用户自定义的字段名区分大小写；每条命令以“；”作为命令结束标记符号；表名、字段名中不能出现#，$，￥，|，%，*，@等字符；数据中如果有特殊字符，需要加两个单引号括起来，’’，如‘Aabcabc’，表示Aabcabc作为一个字段，插入到数据库中，但是’’不载入数据库；区间查询使用“[to]”表示，支持数字、IP类型、以及时间戳类型的检索；SQL-LIKE基本操作命令包括：CREATE，INSERT以及SELECT三类；1.3.1CREATE命令作用：创建表空间；基本格式：CREATETABLETABLENAME(FIELDNAMEFIELDTYPE,FIELDNAMEFIELDTYPE,…);FIELDNAME：字段名，不能以?,*等通配符开始；6/19FIELDTYPE：字段类型，包含INTEGER,IPV4_ADDR,IPV4_ADDR,TIMESTAMP,INDEX,STORE六类基本类型,具体含义如1.1节。1.3.2INSERT命令作用：插入记录基本格式：INSERTINTOTABLENAMEVALUES(VALUE1,VALUE1);“VALUE1,VALUE1”构成的value列表使用“，”分隔，value列表使用括号括起来。1.3.3SELECT命令作用：检索记录；基本格式：SELECTFIELDSLISTFROMTABLENAMEWHERE[(CONDITION)][GROUPBYFIELDNAME][ORDERBYFIELDNAME[ASC|DESC]][TOPK|LIMITK];FIELDSLIST:DISTINCT|*|COUNT(FIELDNAME|*)|SUM(FIELDNAME)|AVG(FIELDNAME)|,FIELDNAME,…各个字段名之间，统计函数与其余字段之间使用“,”分割开；支持COUNT，SUM，AVG，MAX，MIN统计查询函数；DISTINCT关键字直接放在SELECT后，如“selectdistinct…”表示针对整个FIELDSLIST列表的去重；放到聚合函数里，SUM(DISTINCTFIELDNAME)表示针对统计字段的去重；支持字段名检索；WHERECONDITIONAND|OR|NOTCONDITION：where子句支持多个逻辑查询条件的组合，CONDITION表示每个逻辑查询条件；多个条件之间使用逻辑操作符号AND，OR，NOT连接；7/19如：wheredomain=*andport=8080;当where中有多个逻辑条件时，计算顺序是从左到右依次进行（可以理解为优先级从左向右依次降低），比如：检索IP地址池中所有类型为A的DNS记录，可以写作：select*fromdomaintab