《同类网站查询接口的集成系统设计与实现》毕业学术论文.doc 23页VIP

毕业论文（设计） 论文题目： 同类网站查询接口的集成系统设计与实现 学生姓名： 学 号： 0808210132 所在院系： 计算机与信息工程系 专业名称： 计算机科学与技术 届 次： 2013届 指导教师： 目 录 同类网站查询接口的集成系统设计与实现 摘 要:关键词 Student: Wei Min (Faculty Adviser：Chen lei) (Department of computer and information engineering, Huainan Normal University) Abstract:With the rapid development of Internet and network technology, the information on the net growth in vast amounts of way, but we cant get effective information for accurate and fast. Can only be acquired through query interface to access vast amounts of information, in order to be able to access to the same field at the same time multiple Web database, the need for multiple Web database query interface integration. Through the experimental analysis, based on the query conditions of deep Web query interface integration method not only simplifies the complex process of pattern matching, and largely enhances the precision of model integration. Therefore, based on the query conditions of deep Web query interface integration method is efficient and feasible. The ultimate goal of network research depth is for hidden in the Web application after the network data in the database, through online access to background database query interface, which changed the traditional way based on search engine query and access to information brings great challenge. Traditional search engines can only carry on the static page search, the existing interface integration approach mainly integrated each site offers advanced search interface, so that establish the integration of the interface due to contain too many attributes, face on some of the properties for the users choice of candidate values is more complex, inconvenient to users, so the integration interface design based on the query conditions, avoiding the browse complex query interface. Key word:Query interface; Database; The interface integration;Search; Attribute sampling 前言 论文主要任务是针对当前同一领域的不同站点所提供的各个查询接口进行集成，为用户提供一个统一的查询接口，从而节省用户的查询时间。用户在统一的查询接口上输入查询条件，这个查询条件会被分解并传送到各个站点，并被提交，从而得到站点的部分查询结果，再将各站点得到的查询结果进行整合，最终为用户返回一个完整的查询结果。 使用本体(ontology定义为用户浏览和查询处理领域知识)的“桥梁”作用,设置属性之间的映射关系不同的接口模式,准确地识别语义之间的关联不同的界面特性,模型,根据模式匹配的结果,合并网站数据库查询接口设置在相同的语义属性,并且尽量保持查询接口领域的结构特点和属性,以取得查询界面。互联网包含了大量的获取信息,它的内容存储在一个真正的在线数据库,但是这个信息获得通过查询接口来访问。为了提供给用户属于网络特定的区域根据去问的径需要网络数据库查询接口集成目前国内在利用计算机实现集成的网站查询接口系统设计和这一领域的研究所以选择了这个主题,在这个领域作出贡献。 每个源接口形式化为XML架构，并产生相应的XML架构的基础，然后再定义一组规则，形成主体匹配的自定义域本体概念，，产生集成接口。然而，由于这种方法的匹配精度依赖于所定义的匹配规则，需要大量的人工定义精确的规则。基于本体的关系数据库模式匹配的方法，先计算输入的单词相似的本体，然后使用聚类方法和定义的概念聚集近似映射功能映射得到的最终结果。然而，在计算的输入字和本体相似时，考虑只有这两个关键词的相似性，没有得到充分利用本体语义级别的功能。基于本体的集成方法，通过建立综合查询接口领域本体，然后定义推理规则消除冲突，使每个查询的界面和集成的查询接口匹配。然而，这第一场比赛后可能使综合查询接口集成方法不能完全与本地查询接口匹配，导致在一个综合的结果是不可靠的，全面，准确。在模式集成，综合查询界面，提出并实施了一个原型系统的首要条件是要设计一个互动的聚类匹配算法，以获得不同的查询接口属性之间的映射关系将被匹配到同一类物业聚集，根据规则选择每个集群在要素属性类。由于复杂的映射经常发生，不能完全实现自动化，从而实现集成的过程，需要通过用户交互指导解决问题的过程中的不确定性映射，最后是每类作为一个统一的查询接口属性的特性。然而，该方法忽略了很多有用的信息的查询接口，需要用户交互来解决问题，并给用户带来不便有一些关键问题有待进一步改进。优先选择用于获取相关的属性的匹配方法，首先通过聚类相关的属性的集合，然后用最大的选择策略和贪婪策略和设计新的选择策略相结合的策略，删除不正确的属性关联。然而，该方法只考虑查询接口的属性标记，并忽略其它有用的信息，在同时，不识别匹配的复杂性。然而，这种方法不考虑之间的语义关联的属性和属性忽略了其他有用的信息。基于集群的模式匹配方法，先在小组赛使用的相关属性，那么相似的概念来计算通过聚类的代名词属性终于可以用贪心算法来匹配选择。然而，这种方法将查询接口一组平图案的属性作为一个实体，忽略了丰富的结构信息查询接口。 2 深网查询接口集成分析 属性分析是查询接口集成的最主要途径，利用查询接口的模式信息和语义信息识别不同查询接口属性之间的匹配关系，从而获得一个集成的查询接口，其框架如图１所示： 图１ 深网查询接口集成框架 2.1 模式匹配 Ｗｅｂ，不同的语义查询接口要匹配的属性相同。因此，模式匹配是网络的异构信息集成的关键问题。是一个史丹佛大学开发的本体编辑和知识获取软件开发语言采用Java,属于开放源码软件Depth(ci)表示词汇ci的概念深度，即词汇ci在WordNet概念树中到达根节点的层次深度，同理，depth(clj)表示词汇clj在WordNet概念树中到达根节点的层次深度。如果短语P1中词汇ci与短语P2中词汇clj相同，那么Sim(ci，clj)＝1。然后，在短语P2中找到与短语P1中词汇ci相似度最大的值作为短语P1相似度值集中的一个值Si，从而获得短语P1的相似度值集Sim1＝｛S1，S2，…，Sm｝，采样同样方法获得短语P2的相似度值集Sim2＝｛sl1，sl2，…，sln｝。短语P1和P2的最后相似度通过每个短语中词汇各自的相似度占总单词个数的比例获得，其计算如式(2)所示： 假设给定短语P3，δ为相似度阈值。如果Sim(P1，P2)＝Sim(P1，P3)≥δ成立，那么可以推测短语P2和短语P3是语义相似的，都应记录于匹配对应关系集中。 通过关键字属性级匹配方法，可以准确识别DOCM中类或属性与来自不同查询接口属性之间的匹配关系，不仅能够识别简单匹配，而且能够识别复杂匹配。相比于传统模式匹配方法，大大提高了匹配精度并降低了模式匹配过程的复杂性。 假设属性ｅ来自查询接口QI1，属性ｆ来自查询接口QI2，即e∈QI1，f∈QI2，同时，在DOCM中存在主类g，该主类g包含2个同义词汇e和f，那么，在比较查询接口QI1中属性e和查询接口QI2中属性f时，首先比较查询接口QI1中属性e与DOCM中主类的相似度。通过比较，如果发现查询接口QI1中属性e与DOCM中主类g相似，并且在g的同义词集合中包括同义词f，那么DOCM中的主类g可以看作“桥接”，进而推出查询接口QI1中属性e和查询接口QI2中属性f是相似的，此时查询接口QI1中属性e和查询接口QI2中属性f为1:1的简单匹配。 对于M:N匹配，首先将其转换为M∶1匹配和1：N匹配，进而获得M：N匹配。例如：某个源查询接口中存在属性“公共属性”，它包含2个条件属性“date from”和“date to”，当查找DOCM时，DOCM中包含类属性“from”和“to”，并且类属性“from”和“tp”在DOCM中的概念主类为“出版日期，那么通过比较可知源查询接口属性“publication”与DOCM中主类“出版日期”是相似的，进而可以推知“publication”与“from”和“to”为1:M匹配，“date from”与“publication date”为M∶1匹配，“from”和“to”与“date from”和“date to”为M：N匹配。 定义6:基于本体的实例级匹配。假设A*表示Web数据库查询接口的属性，Ai表示DOCM中概念节点Ci的概念主类，｛CI*｝表示A*的实例集合，｛CIi｝表示Ai的实例集合，｛NI1，NI2，…，Nik｝表示Ai的k个实例计数器集合。如果A*与Ai相似，那么SiM(A*，Ai)≥σ成立，其中σ表示A*和Ai的相似度阈值。对于查询接口属性A*的实例Ins*j，Ins*j∈｛CI*｝，存在以下几种情况： 1)如果INｓ*j∈｛CIi｝，那么Nih\j＝Nij＋1； 2)如果INs*j｛CIi｝，｛CIi｝＝｛INS1，…INsk｝，SiM(Ins*j，INsM)＝Mａｘ｛SiM(Ins*j，INS1)，SiM(Ins*j，INS2)，…，SiM(INｓ*j，INsk)｝≥σ，1≤M≤k，那么NiM＝NiM＋1，否则表示实例INs*j的概念不存在于Ai的实例中，那么将INs*j作为一个新实例加入DOCM中类Ai的｛CIi｝中，同时，将新实例的初始计数器设置为1。 例３、假设源查询接口包含属性“category”，其实例空间为｛“architecture and photograhy”，“philosophy”，“Biography”｝，DOCM中包含主类“subject”，其实例空间为｛“history”，“philosophy”，“architecture”｝。由于源查询接口属性“category”与DOCM中主类“subject”相似，因此，需要合并属性值，以确定实例空间。通过基于本体的短语相似度算法计算“architecture and photograhy”与“architecture”是相似的，那么DOCM中主类“subject”的实例“architecture”计数器加1；源查询接口属性实例“philosophy”在DOCM中主类“subject”的实例值中，那么DOCM中主类“subject”的实例“philosophy”计数器加1；源查询接口属性实例“Biography”与DOCM中主类“subject”的所有实例值均不相似，表明实例“Biography”不存在于DOCM中主类“subject”的实例值中，那么将“Biography”作为主类“subject”的一个新实例加入DOCM中主类“subject”的实例值中，并将计数器初始值设置为1，以丰富本体实例。 查询接口集成模式匹配详细流程如图2所示： 图2 查询接口集成模式匹配过程 其过程可以分为3个阶段： 1)、数据预处理 为了避免因为形式上的差别导致丢失匹配，在执行匹配过程之前，需要对查询接口及DOCM进行标准化处理。标准化步骤： Step1、考察每个词汇，如果词汇中含有不属于集合｛ａ，…，ｚ，Ａ，…，Ｚ，0，…，9｝的字符，那么将其用空格字符替换。 Step2、转换所有的大写字符为与之等价的小写字符。 Step3、停用词移除。停用词是指那些在语言中常常出现、但是可以忽略的单词。它们作为句子的组成成分，却不能表达文档的任何内容。 Step4、转换词汇中的缩写和简写。 Step5、通常，一个词汇在不同的语境中有着不同的语法形式，词干提取使得匹配过程能接受单词的不同变化形式，从而提高查全率。因此，需要对每个词汇使用词干分析算法提取词干。 2)、匹配发现 Step1、依次遍历每个源查询接口的模式链表，获取每个逻辑属性的属性标签； Step2、通过基于本体的属性级匹配算法对该属性标签进行匹配； Step3、如果源查询接口属性含有实例集合，那么调用基于本体的实例级匹配算法； Step4、最后将匹配结果存储于映射表中。 3）、记录匹配关系 映射表结构如图3所示，它记录了DOCM中每个本体概念与之相匹配的所有源查询接口属性之间的映射关系。映射表以链表形式表示，每个本体概念结点链接了与该结点相匹配的源查询接口属性信息，这些信息包括URL，Action，Name，type，label，value，constraint。 图3映射表 通过映射关系能够自动识别相同语义查询接口的不同表现形式，将异构数据库进行整合。 3.3 模式融合规则模式 融合通过由模式匹配器识别出的属性映射关系合并源查询接口的模式，以构造全局查询接口。接口模式的融合包括4个方面： 1）、查询接口集成属性标签的确定 网站查询接口集成以源查询接口模式作为输入，通过DOCM建立语义相近属性间的映射关系，将多个数据库模式生成为模式元素间属性与DOCM中概念的映射，在不同查询接口间发现1:1匹配和M:N匹配，使这些模式合并为统一的全局模式。由于不同查询接口界面不同，并且对于同一查询条件命名方式也不相同，因此，通过基于本体的深网接口模式匹配，将不同查询接口的属性标签映射为DOCM中的类(概念)，用DOCM中的主类对不同查询接口表示相同语义的元素统一命名，作为集成查询接口的属性标签，同时保留集成查询接口与各源查询接口的映射关系。 2）、查询接口集成属性类型的确定 根据类型识别器识别各属性的类型，属性类型由以下两个规则确定： 规则1、如果所有已匹配同义属性具有相同的类型(ｄｏMAiN　ｔｙｐe)，那么全局属性的属性类型为该类型。 规则2、如果各源查询接口同义属性的类型不完全相同，那么分别记录各源查询接口同义属性类型个数，在集成查询接口中，以出现次数最多的属性类型作为集成查询接口该属性的类型。 3）、查询接口集成的属性值(即搜索空间)的确定 在查询接口集成属性值的选择过程中，根据属性类型的不同，属性值融合分为2种方式：字符类型属性值融合和数值类型属性值融合。对于不同查询接口的同义属性，如果该属性的属性值与DOCM中同义主类的实例相匹配，那么不作处理；如果该属性的属性值与DOCM中同义主类的实例不相匹配，那么，将源查询接口属性的属性值作为该主类的新实例加入到DOCM中。 字符类型值融合(Merging alphabetic domains)：使用值之间的语义关系来合并它们并生成全局值集合。选择方法包括以下2种： 字符串匹配(approximatest string matching)。两个属性名字的一种近似字符串匹配是找出两个名字字符串的编辑距离是否在一个允许的阈值σ内。编辑距离，即将一个字符串转换成另一个字符串所需要插入、删除和替换的字符数。 例如，将NKN转换成NIKON需要添加2个字符，而较长的字串长度为5，因此它们的编辑距离为2.5，即0.4。 短语相似度匹配(phrase similarty matching)。即使用基于本体的短语相似度算法获得两个包含多个单词的属性值的相似度，如果相似则选择最常用的值作为全局属性值。 例4、如图4所示，属性“subject”和属性“category”来自2个不同的源查询接口，DOCM中包含主类“subject”，因此，集成查询接口中该同义属性以DOCM中的主类为主，即为“subject”，经过相似度计算，合并每个查询接口的实例值，得到集成查询接口属性“subjectｔ”的实例值。 图4合并字符型实例值例子 数值类型值融合：分为离散型数值和区间型数值。 对于离散型数值融合只需将各源查询接口同义属性的离散数值合并即可。 ②对于区间型数值一般由数值和区间(range)修饰语联合表示。例如，“baby”被解释成“under 3 years”，“teen”表示“13~18years”，“adult”表示“over 18 years”。此时，需要建立一个语义词典保存常用的range标识，并记录range的含义，如表1所示： 范围修饰符 符号 小于 大于 超于 远超于 …… …… 表1 区间标识符字典 例5、如果2个源查询接口的同义属性的属性值均含有数值区间类型值，那么在合并值的过程，首先解析属性值，对于未出现于区间标识符字典中的字符(除数字外)用空格表示，出现过的字符，根据区间标识符字典，将属性值表示为数值区间。当属性的属性值匹配完毕后，按照升序对属性值进行排序，并在每两个相邻值之间增加区间标识，如图5所示： 图5 区间型数值合并过程 4)、集成查询接口布局的确定。 一般情况下，用户友好的、重要的、使用频率高的属性出现在查询接口的前面位置。在源查询接口中，每个属性都有各自的位置，而属性布局的位置反映了属性的重要程度。通常，查询接口的前几个属性的使用频率比后面属性的使用频率高。为了保证重要的属性仍然在全局查询接口的前面位置，引入属性位置平均值概念，用于确定全局查询接口属性的排序。 定义7、属性位置平均值 (attribute average position)。集成查询接口属性的位置平均值等于该属性在所有源查询接口中位置的总和与其出现次数总和的比值，其计算如式(3)所示： 其中M表示所有包含与ci匹配的源查询接口个数；lposk(ci)表示属性ci在查询接口k中的位置；lfeok(ci)表示属性ci在查询接口k中出现的次数，如果是1:1匹配，则为1；如果是复杂匹配，则为查询接口中复杂匹配的属性个数。 查询接口集成的布局规则如下： 规则1、当布局集成查询接口时，首先按照全局属性的位置平均值升序排序，值较小的属性排列在前面。 规则2、如果属性位置平均值相同，那么按照全局属性的出现频率和的顺序排列，频率和较大说明属性较为重要，需要放在前面。 规则3、如果集成查询接口的属性包括所有源查询接口属性，那么集成查询接口属性的数量可能会较多。为了消除一些不重要的属性，可以考虑设置一个阈值，用来表示集成查询接口中所期望的属性个数。 4 实验 应用Protégé工具构建领域本体，并通过java API对Protégé进行调用。在比较相似度的过程中，通过JWNL API调用WordNet，同时，借助DOCM获取所有接口间的模式匹配，实现查询接口的集成。以图书领域为例，如果集成查询接口属性个数阈值设置为10，相似度阈值设置为0.8。 图6　深网集成查询接口示例 其中：区域1表示参数设置；区域2表示源查询接口的URL集合；区域3表示一个查询接口界面；区域4表示集成查询接口界面；区域5表示查询接口间的匹配过程。如果用户从区域2中选择一些URL，那么经过模式抽取和模式匹配后，将在区域4中产生这些ＵＲＬ的集成查询接口；如果用户需要比较某个源查询接口和集成查询接口的差异时，用户可以从区域2中选择源查询接口的URL，双击该URL，其接口结构将在区域3中显示。通过区域3和区域4，用户可以很容易地了解不同查询接口之间的差异。 为了进一步验证本文方法的可行性和高效性，分别进行以下3个实验： 实验1、模式匹配 采用信息检索中的查全率、查准率和F－Measure来评价查询接口模式匹配的精度。查全率指由算法所识别出的正确匹配占所有匹配的百分比，查准率指由算法所识别出的正确匹配占所识别匹配的百分比，F－Measure是一个把查全率和查准率结合起来的指标，F－Measure值越大系统性能越好。网站查询接口集成的数据集来自UIUC集成知识库，从该数据集中选择46个图书领域查询接口用以验证本文的方法。如果属性匹配阈值设置为0.8，那么模式匹配结果如表2所示： 数值 属性编号 查全率 查准率 F-Measure 10 86 0.918 0.929 0.923 20 140 0.921 0.935 0.928 30 206 0.932 0.932 0.932 46 306 0.935 0.941 0.938 表2 基于本体的模式匹配结果 实验结果表明，随着查询接口数目的增加，查全率、查准率和F－Measure逐渐提高。原因在于模式匹配的过程中，不断地将未包含于本体中的概念加入到本体的适当位置，使得领域本体不断完善。由于模式匹配的精度在很大程度上依赖于本体知识库的完备性。因此，一般来说，领域本体知识库越完备属性匹配精度越高。 实验2、模式融合 采用信息检索中的查全率、查准率和F－Measure来评价查询接口模式融合的精度。查全率指由算法所识别出的正确融合属性占所有融合属性的百分比，查准率指由算法所识别出的正确融合属性占所识别融合属性的百分比。由于属性值级的合并精度主要取决于属性类型为“select”和“text area”的值合并，因此，以46个表单为例，通过合并实验1的匹配属性，其属性值的合并结果如表3所示： 表3 属性值合并结果 域类型 属性编号 查全率 查准率 F-Measure 字母的值 66 0.833 0.873 0.853 离散数值 10 0.9 0.9 0.9 连续性数值 7 0.714 0.833 0.769 属性值的合并主要为字符类型值融合和数值类型值融合。从实验2可以看出，对于字符类型值融合和离散型数值融合其精度较高，而对于区间型数值融合由于通常包含修饰词语，需要查找区间标识符字典才能准确合并区间型数值，其精度主要取决于区间标识符step字典，因此，相对于字符类型值融合和离散型数值融合，区间型数值融合精度较低。 实验3、集成查询接口 集成查询接口的集成精度可以定义为式(4)： 其中，I表示集成查询接口，IA(I)表示集成查询接口精度，M表示源查询接口集合中的接口个数，MI表示查询接口I与集成查询接口相匹配的属性个数。集成查询接口精度如表4所示： 数值 属性编号 查全率 查准率 F-Measure 10 86 0.918 0.929 0.923 20 140 0.921 0.935 0.928 30 206 0.932 0.932 0.932 46 306 0.935 0.941 0.938 表4 深网集成查询接口深度 通过实验3可以看出，随着表单数量的增加，网站查询接口的集成精度趋于稳定，并且较高，因此，可以看出此查询接口集成方法是高效可行的。与以往的方法相比，引入本体技术实现查询接口的集成不仅简化了模式匹配的复杂过程，克服了单纯基于统计方法在语义理解上的不足，而且还可以尽可能地保留源查询接口的结构特征和属性顺序，进而提高了集成查询接口的集成精度。因此，基于查询条件的查询接口集成方法是一种可行、高效的接口模式集成方法。 5 总结 网站查询接口集成系统提供了特定领域的唯一入口，以动态访问同一领域的在线数据库。本文提出了网站查询接口集成方法，在模式匹配过程中，通过使用领域本体概念映射方法实现模式匹配，进而避免了传统属性两两匹配的穷举匹配算法，大大提高了模式匹配效率；在模式融合过程中，通过定义模式融合规则对模式匹配结果进行处理，以产生最终的集成查询接口。 由于模式匹配是深网数据集成的关键技术，虽然本体能够充分发掘语义单元之间的关系，但是对于复杂类型M:N的模式匹配识别效果并不是很理想，直接影响了模式集成的精度。因此，在以后的工作中，应