数学建模互联网用户识别

互联网论坛用户识别中国互联网发展经历了10年的快速增长期，已经形成较为成熟的应用。现在的互联网正从信息单向推送模式向互动模式转型，互联网论坛已经成为互联网企业与用户、用户与用户之间重要的互动平台。在这样的互动氛围中衍生出了很多商业机会和运营难题。比如，企业如何通过论坛发掘出有商业价值的用户？互联网公司如何通过激励用户来维持论坛热度？回答这些问题和解决运营难题的首要条件是，企业能够对论坛内的用户进行有效识别。这些识别需要达到如下四个结果：1、言论领袖：发现论坛言论领袖，即最具影响力的论坛人物。2、话题用户：精确定位关注某一特定话题的用户3、活跃用户：识别论坛活跃用户。4、关系圈：发掘论坛人际关系圈。研究建议：1.言论领袖的发现可以从其所发帖子的跟帖数量、精华贴数、置顶时间、发帖总数等变量切入，并进行综合评价。2.话题用户的定位可从其主要跟帖主题、谈论内容判断。不需要完全准确，大概识别出范围即可。例如，diybbs.it168.com论坛中对游戏话题非常关注的用户。3.活跃用户可从登录频率、参与话题数量等方面综合评价。4.关系圈可从帖子关联关系等方面综合评价。5.建模所用数据以你能在这些论坛上注册后能看到的所有内容为准，不限于文字、数字、符号。例如，发帖时间、主帖跟帖数量（主帖楼高）、用户登录频率、用户最后登录时间、发帖积分、帖子关键字。因为，你能看到的内容就是爬虫机器人可获取的内容，在技术上以可完全实现，并进入到结构化数据库进行数据挖掘。研究对象包括但不限于如下论坛：1、、、、，并针对言论领导、话题用户、活跃用户、关系圈四个要求提出实例说明。例如，在，在。考虑到各个论坛结构和内容上的差异，通用模型使用的变量应尽量考虑各论坛间的通用性，定量和定性结合为佳，通用模型配合文字或使用方法论说明为佳。本题要说明识别所用数据获取途径或方法，包括数据挖掘技术以及程序代码。第三届BiZ-WiZ杯华中地区大学生数学建模邀请赛题目：互联网论坛用户识别【摘要】中国互联网发展经历了10年的快速增长期，已经形成了较成熟的应用。现在互联网论坛已经成为企业与用户、用户与用户之间的重要互动平台。企业如何去发掘其中的商业价值和解决运营难题关键在于企业能够对论坛内的用户进行有效识别。本文给出如何运用火车采集器采集对论坛用户信息进行采集，并进行挖掘处理，然后运用层次分析法进行建模，将数据进行优选，并提炼出通用模型，解决如何找出言论领袖、话题用户、活跃用户及关系圈的问题。模型的优点在于能系统地获取数据，挖掘数据以及处理数据，并考虑到各论坛间的通用性。通过模型，互联网企业能够对论坛内的用户进行有效识别，从而解决运营难题以及抓住其中的商业机会。一、问题的背景随着科学技术的发展，互联网的使用开始普及化，网络论坛也越来越多，论坛中用户的人数也随之增加。现在互联网论坛已经成为企业与用户、用户与用户之间的重要互动平台。互联网企业为了全面的掌握市场信息，解决运营难题，互联网公司需要对论坛中的用户信息进行分析与处理，对用户进行有效的识别，进而有效的挖掘用户的商业价值，提高用户在论坛中的活跃性，从而提高论坛热度，促进商业效应。二、问题的提出论坛中在企业与用户、用户与用户的互动氛围中衍生出了很多商业机会和运营难题。比如，企业如何通过论坛发掘出有商业价值的用户？互联网公司如何通过激励用户来维持论坛热度？回答这些问题和解决运营难题的首要条件是，企业能够对论坛内的用户进行有效识别。这些识别需要达到如下四个结果：1、言论领袖：发现论坛言论领袖，即最具影响力的论坛人物。2、话题用户：精确定位关注某一特定话题的用户3、活跃用户：识别论坛活跃用户。4、关系圈：发掘论坛人际关系圈。由于影响四种结果都不相同，所以将四种结果分开进行识别。我们利用层次分析的方法构建层次结构，在每种情况下进行得出排序结果进行排序选优。三、基本假设1.假设从互联网上获取的用户信息都是真实的，准确的；2.假设用户信息数据可以准确量化；3.假设量化时间以采集数据时间为准；4.假设每个论坛中的用户信息格式都为用户名、UID、性别、注册日期、上次访问时间、帖子数量、积分、跟帖数。（一）论坛领袖的识别言论领袖即最具影响力的论坛人物，影响言论领袖的因素有四个：跟帖数量、精华贴数、置顶时间、发帖总数，我们根据各个因素的影响程度构造比较矩阵，形成层次结构，得出排序结果，识别论坛领袖。1.建立层次结构问题的层次结构公分三层：第一层为目标层（O）:综合选优排序；第二层为准则层（C）：影响因素，共有4个，依次为帖数量、精华贴数、置顶时间、发帖总数分别记为Ck（k=1，2，3，4）；第三层为方案层（P）:论坛中有N个用户，依次记为Pn（n=1，2，…，N）。2.确定准则层（C）对目标层（O）的权重W1根据每个因素对评价结果的影响程度小组讨论得比较矩阵:A=12/113/1212/16/11213/13631式中a12表示发帖数C1与跟帖数C2对选择言论领袖这个目标的重要之比为3:1，a13表示发帖数C1与其他因素C3对选择言论领袖这个目标的重要之比为6:1，aij表示Ci与Cj对选择言论领袖的重要之比，全部比较结果构成上式。进行成对定性比较时参考了如下表：尺度aij含义1Bi与Bj的影响相同3Bi比Bj的影响稍强5Bi比Bj的影响强7Bi比Bj的影响明显的强9Bi比Bj的影响绝对的强2，4，6，8Bi与Bj的影响之比在上述两个相邻等级之间1，1/2，…,1/9Bi与Bj的影响之比为上面aij的互反数表11-9尺度aij的含义经计算求得A的最大特征值为max4.0015，相应的特征向量作为归一化有，W1=（2.1534，0.7177，0.3276，0.8011）T则一致性指标CI10.0005,一致性指标CR10.1，于是W1作为C层对O层的权重向量。3.确定方案层（P）对准则层（C）的权重W2每个因素都能影响论坛领袖的排序结果，于此可以分别构造P层对准则Ck的比较矩阵Bk=（b）（，kji）NXN,求得Bk的最大特征值）（kmax=0，其任一列向量都是）（kmax的特征向量，将其归一化得方案层（P）对准则层（C）的权重向量，记作W）（k=（w）（k1，w）（k2，…,w）（kN）T（k=1，2，3，4），即为方案层（P）对准则层（C）的权重，且一致性比率指标为CR2=0。4.确定确定方案层（P）对目标层（O）的组合权重W由于C对O的权重W1和P对C的权重W2，则P对O的权重为W=W1.W2=（w1，w2，…,wN）T其组合一致性比率指标为CR0.1,因此，组合权重W可作为目标决策的依据。5.综合排序由于wn是参评用户Pn对目标O层的权重，即wn就表示Pn在论坛中的表现，按其大小排序，就可以得到决策方案。㈡话题用户识别模型的建立利用上面相同的方法，对于话题用户我们对相同主题或者版块下的用户进行数据采集，采集用户在相关主题或版块的发帖数和跟帖数（相同时间段），建立层次模型。1.同样对每个话题下的用户建立层次结构：问题的层次结构公分三层：第一层为目标层（O）:综合选优排序；第二层为准则层（C）：影响因素，共有2个，依次为发帖数和跟帖数，分别记为Ck（k=1，2，）；第三层为方案层（P）:参评话题下有N个用户，依次记为Pn（n=1，2，…，N）。根据选优问题的实际，2.确定准则层（C）对目标层（O）的权重W1根据每个因素对评价结果的影响程度小组讨论得比较矩阵:A=1/2121经计算求得A的最大特征值为max2.175，相应的特征向量作为归一化有，W1=（0.5950.277）T则一致性指标CI10.005,一致性指标CR10.1，于是W1作为C层对O层的权重向量。3.确定方案层（P）对准则层（C）的权重W2每个因素都能影响论坛领袖的排序结果，于此可以分别构造P层对准则Ck的比较矩阵Bk=（b）（，kji）NXN,求得Bk的最大特征值）（kmax=0，其任一列向量都是）（kmax的特征向量，将其归一化得方案层（P）对准则层（C）的权重向量，记作W）（k=（w）（k1，w）（k2，…,w）（kN）T（k=1，2），即为方案层（P）对准则层（C）的权重，且一致性比率指标为CR2=0。4.确定确定方案层（P）对目标层（O）的组合权重W由于C对O的权重W1和P对C的权重W2，则P对O的权重为W=W1.W2=（w1，w2，…,wN）T其组合一致性比率指标为CR0.1,因此，组合权重W可作为目标决策的依据。5.综合排序由于wn是参评用户Pn对目标O层的权重，即wn就表示Pn在论坛中的表现，按其大小排序，就可以得到决策方案。（三）活跃用户识别模型的建立对于活跃用户我们只需对用户的登录频率、参与话题数量及其在论坛中的积分进行整理的出结果，进行排序选优。对于该模型的建立我们同样采取层次分析的方法。1.建立层次结构问题的层次结构公分三层：第一层为目标层（O）:综合选优排序；第二层为准则层（C）：影响因素，共有3个，依次为登录频率、参与话题数量、积分分别记为Ck（k=1，2，3）；第三层为方案层（P）:论坛中有N个用户，依次记为Pn（n=1，2，…，N）。2.确定准则层（C）对目标层（O）的权重W1根据每个因素对评价结果的影响程度小组讨论得比较矩阵:A=11/41113/1431经计算求得A的最大特征值为max3.009，相应的特征向量作为归一化有，W1=（0.633，0.193，0.175）T则一致性指标CI10.005,一致性指标CR10.1，于是W1作为C层对O层的权重向量。3.确定方案层（P）对准则层（C）的权重W2每个因素都能影响论坛领袖的排序结果，于此可以分别构造P层对准则Ck的比较矩阵Bk=（b）（，kji）NXN,求得Bk的最大特征值）（kmax=0，其任一列向量都是）（kmax的特征向量，将其归一化得方案层（P）对准则层（C）的权重向量，记作W）（k=（w）（k1，w）（k2，…,w）（kN）T（k=1，2，3），即为方案层（P）对准则层（C）的权重，且一致性比率指标为CR2=0。4.确定确定方案层（P）对目标层（O）的组合权重W由于C对O的权重W1和P对C的权重W2，则P对O的权重为W=W1.W2=（w1，w2，…,wN）T其组合一致性比率指标为CR0.1,因此，组合权重W可作为目标决策的依据。5.综合排序由于wn是参评用户Pn对目标O层的权重，即wn就表示Pn在论坛中的表现，按其大小排序，就可以得到决策方案。(四)关系圈确立的模型建立对于关系圈的确立比较复杂，我们从好友列表的角度来建立关系圈，由于我们没有掌握从每个分页下采集好友信息的方法，我们建立了一个简单的关系圈识别模型，假设对每个用户进行查找都可直接显示他的好友信息，模型建立如下：1.我们设对A用户进行调查，研究其关系圈情况，通过好友信息了解其好友有N个，分别记为a1，a2，…，an。2.然后分别对其每个好友进行调查，若好友中的好友列表同样有用户A，则好友an（n=1,2,…，n）与用户关系。3.重复此操作设找到M个用户与用户A建立了关系，则用户A的关系圈为这M个用户。4.重复以上操作对每个用户进行查找，则得到该论坛的关系网。参考数据及截图如下：利用火车采集器采集数据如下：用户名UID性别注册日期上次访问帖子积分shenli8366441男2005-6-302010-1-2521:135234361208还是那个酸闹闹377281女2007-4-122010-5-609:446849360595扒鸡810921208097女2006