北京拓尔思公司的"网络舆情监控系统"

作者: 阮一峰

日期: 2009年1月12日

珠峰培训

让我们先来认识一下北京拓尔思公司

北京拓尔思(TRS)信息技术股份有限公司成立于1993年(原名易宝北信信息技术有限公司)。

TRS公司是中文全文检索的创始者,在企业和互联网搜索、内容管理和文本挖掘等领域具有领先的技术和产品,在大中华地区拥有3000多家企业级用户,是非结构化信息处理技术领域的领导企业,也是中国最大的搜索技术和内容管理技术供应商。

TRS公司总部设在北京,现有员工300多人。

TRS公司成立十余年来,销售收入和利润始终保持持续增长,已发展成为中国从事自主核心技术和自主知识产权软件产品研发的典范企业之一。

----摘自《公司简介》

下面的文章出自该公司的网站。我只转载,不发表评论。文中的黑体字为我所加。

==================

网络舆情之政法"样本"

作者:北京拓尔思(TRS)信息技术股份有限公司

时间:2008-10-17

原文网址:http://www.trs.com.cn/news/gsxw/200810/t20081017_2318.html

【关键词】 网络舆情监控 政法 预警 舆情表达 全文检索


2008年是中国改革开放30年,是奥运年,是政治、经济、文化意义上的"中国年"。

但是,对于中国来说,2008年也是一个发生了众多事件之年,从三鹿毒奶粉、哈尔滨警察打人致死、到山西政协主席因公殉职,种种消息通过网络舆情传播放大,造成了广泛的社会影响,政府部门承受着巨大的舆论压力。

面对这种情况我国政府高度重视,并给予了积极妥善的解决与处理,将不良信息的负面影响降低到了最低限度。

因此,重视网络舆情,及时掌握民意、聆听民声是当前我国政府地迫切需要,也是面临的又一挑战。

一、网络舆情之政法困惑

政法机构作为我国管理政法工作的职能部门,担负着维护社会稳定、社会治安综合治理等方面的职责,它对网络舆情信息的引导与控制对于维护社会稳定至关重要。

为了进一步加强互联网新闻宣传和信息内容安全管理,各地政法战线相继成立了相关部门对社会舆情信息进行监管,但这一过程中它们也面临着两个主要问题:

(1)人员技术水平低。

当前各地政法战线工作人员对网络舆情知识十分陌生,政法部门非常缺乏网络舆情监控方面的专业人才;

(2)舆情监控系统落后。

监测网络舆情,少不了及时有效的信息搜集、信息处理、信息研判、信息反馈、信息决策,这就需要强有力的技术系统尤其是一套高效的计算机软件系统,可我国大部分政法部门却没有与网络舆情监测和舆情分析相匹配的科技手段。

政府在应对网络舆情上停顿和后退都没有出路,面对政法战线网络舆情发展水平低下和网络舆情发展日趋复杂的状况,北京市政法委直属的高等院校----北京政法职业学院,担当起了拓展网络舆情道路排头兵的重任。但是,政法学院在长期的项目论证过程中,一直存在很多难点,如:网络舆情信息的来源过于广泛,难以实时监控;网络舆情信息属于海量信息,信息随意性很强,难以进行识别和辨别;对特定的政府舆情监控分析需求,难以找到突破点。

经过两年的论证规划、多方选型和公开招标,北京政法职业学院最终选定,应用北京拓尔思信息技术股份有限公司(简称TRS)的网络舆情监控系统,建立其网络舆情实验室和舆情监控系统,为北京市政法干线培养网络监管专业人才,为首都政法战线提供舆情监控信息服务。

二、网络舆情之政法服务

政法学院网络舆情监控系统通过互联网信息采集和文本挖掘技术,帮助政法学院快速发现和收集所需的社会网络舆情信息,通过自动采集、自动分类、智能过滤、自动聚类、主题检测和统计分析,实现社会热点话题、突发事件、重大案情的快速识别和定向追踪,从而帮助政法学院及时掌握舆情动向,做到对有较大影响的重要事件快速发现、快速处理,从正面引导舆论和宣传,构建积极向上的主流舆论。



系统架构图

三、系统特点介绍

(1)实时监测网络舆情信息

根据自身业务特点,政法学院网络舆情监控系统对监测目标,采取了互联网热点新闻和业务相关信息两种分类方式,其中业务相关信息包括:北京市政法聚焦、全国政法聚焦、北京市政法机构、全国政法机构、北京市社情民意、全国社情民意、北京市重点舆情、全国重点舆情等类别。

同时基于此,政法学院在互联网的新闻、论坛、博客上各设置了150个以上的采集源,并对这些信息统一加工过滤、自动分类,保存新闻的标题、出处、发布时间、正文、新闻相关图片等,并经过手工配置获得本条新闻的点击次数。

系统还支持采集网页上的文字、图片、表格、附件等多种资源,支持简繁体信息采集。

(2)网络舆情的个性化追踪和专题报道

系统还具有个性化追踪和专题报道功能,政法学院可以根据自己个性化需要,对某一事件进行详细的了解,以方便关注事态的后续发展情况,及时了解热点信息的最新动态。

以最近网络倍受关注的"山西省政协主席因公殉职"为例,政法学院把此条信息设置成个性化追踪后,系统在10月11--17日,挖掘出118条同类新闻,以标题、刊登时间、摘要、来源(地址和网站名)的形式展现出来,并按时间顺序进行排列。

同时,系统还提供10月11--17日关注趋势图,以图表的形式表现大众关注度,图表下也会有相关新闻显示。

(3)直观、可视化的舆情表达信息

系统通过在国内论坛、国外新闻、国外论坛、国内新闻、博客上选择热点新闻,加工出高质量舆情简报。

以"平安奥运"为例,从8月14日至今,系统每天生成一篇简报,显示简报的名称、简报作者、简报发表时间、简报类型,并且简报内容包括本期要目,和文章具体内容。

另外,系统还可以对简报的排版格式、字体格式、段落格式等进行修改,和往简报中添加本地图片和远程图片。

(4)按需自动预警网络舆情

政法学院网络舆情监控系统具有红色预警功能,其包含了所有舆情分类的总统计分布图,以及一般舆情分类和重点舆情分类的详细统计分布图,其中重点舆情分类包括:政府形象、反华报道、犯罪执法、公共安全事件、群体性事件。

每个舆情分类对应的新闻列表,包括总条数、分页数、每条新闻标题、摘要、来源、原文链接以及当前新闻的报警级别等相关信息。其中报警分为两个级别:红色和蓝色,分别代表为:重点舆情和一般舆情。

(5)精准的舆情全文检索

政法学院的网络舆情检索分为三种:新闻检索、论坛检索和博客检索。分别对新闻文章集合、论坛帖子集合和博客帖子集合进行相关检索。

检索主要有两种途径:一种是在主界面,一种是在检索界面。

同时,舆情信息检索结果可按不同维度展现,包括按内容分类、舆情分类、相关人物、相关机构、相关地区、正负面分类等,每个维度下会把搜索结果自动分类统计和展示,包括检索词标红、检索关键词提示、检索结果分页、报道网站,使用户用最短的时间搜索到最精确的信息。

(6)自动发现网络舆情热点

系统能够对重要的热点新闻信息进行分析和追踪,及时掌握舆情爆发点和事态。

系统会根据新闻文章数及文章在各大网站和社区的传播链进行自动跟踪统计,提供不同时间段(1天、3天、7天、10天)的热点新闻,并且每条热点新闻还可以查看新闻相关传播链,了解在某一时间段该热点新闻在某些站点的传播数量。

同时,想要了解热点信息的具体内容,还可查看系统具体的热点趋势图、国内新闻站点统计图、境外新闻站点统计图、论坛站点统计图、十大机构统计图、信息类别统计图、正负面信息统计图。

四、总结

高水准的网络舆情技术是政法学院的目标所在。

TRS副总裁林春雨表示:TRS希望能够将北京政法职业学院"网络舆情监控实验室"项目,建设成为在北京乃至全国"有特色、有品牌、有直接社会应用价值"的典型项目,从而竖立起政法战线网络舆情监控的成功样本。

(完)

优达学城

腾讯课堂

留言(59条)

博主:
老大哥正看着你!

强有力的爪牙啊

越来越控了~

好的,中国这样做实事的公司真是太少了.怎么支持都不为过啊!

现在,在中国的哪里,我们可以自由的说话呢?恐怕不久电话监听什么的都合法了吧?

我觉得这没有什么 哪个政府都要这样 难道CIA FBI不监视美国的网络吗?有什么好指责我们的政府的?不要太愤青
要合作 不能对抗

因此,重视网络舆情,及时掌握民意、聆听民声是当前我国政府地迫切需要,也是面临的又一挑战。
============================
人家不是说了么,重视舆情的目的是为了掌握民意,归根结底还是为了提高行政效率、更好地为人民服务。
你说这样不对?那对网络不理不问,不上网,你们又要说落后的官僚、不重视民意、不管人民的死活了吧。
如果你预设了立场,那怎么样政府都是错的。

BB is watching you!

引用支持者的发言:

我觉得这没有什么 哪个政府都要这样 难道CIA FBI不监视美国的网络吗?有什么好指责我们的政府的?不要太愤青
要合作 不能对抗

博主的文章中没有表明任何立场吧
“毛毛毛毛毛”们倒是自己先激动起来了

哎,我国的科学技术就是用来做这个的,也算是中国特色了。
难怪自50年代中期以来这么多年了,我们大陆都没有培养出真正的科学家。

突然我想起老舍《茶馆》里的那句“莫谈国事”,到底我们的社会是在进步还是在倒退?

引用anonymous的发言:

博主的文章中没有表明任何立场吧“毛毛毛毛毛”们倒是自己先激动起来了


博主的立场一直很明确。。。。

毛毛毛毛毛们年底很积极啊,看来是要结钱了,我们纳税人的血汗都喂猪了。

公司的芳名将千古流传啊!

引用支持者的发言:

我觉得这没有什么 哪个政府都要这样 难道CIA FBI不监视美国的网络吗?有什么好指责我们的政府的?不要太愤青
要合作 不能对抗

我真想人肉你!

俺这里,所有这个ters公司的链接都打不开啊?怪。

其实我觉得技术没有左右之分,同样的技术(全文检索)也可以用来提高搜索引擎的查询效率。
只是TRS一直在做政府机关的项目,发展到这个地步也没什么可说的,而且网友对TRS没有任何可以做的,想抵制也不行。

防民之口……
网有恶犬……
狗仗人势……
狗咬吕洞宾……
关门打狗……

真是越来越无耻了,原来没有切身体会,最近考研泄题事件教育部的态度让我真正认清了这个神奇的国家。
见http://blog.sina.com.cn/s/blog_544299e90100bpps.html
原来对博主的观点有些不以为然,现在觉得这个社会真让人看不到希望。

好好的技术,可惜了。

卖广告啊

当想了解一些信息的时候,所点的网页都是无法链接,那种感觉实在很崩溃。

锋兄(嗯,听着像西毒),弄了一个晚会节目没有被公司采纳,如果觉得还有意思的话帮我Post一下;谁搞出来可以把视频挂上网就行了。一句话:不恶搞一下,对不住这个年头,谢了。

完整地址:
http://www.my1510.cn/article.php?daa54ba3048a894d

希望哪里的晚会可以借鉴一下,到时候如果Post到土豆或者Youtube上面的话,给我留个地址就行了。

本想Post上来的,不过您这1200字的留言实在是太少了,所以挺郁闷。有空的话可以看看。

纯属共享。

f.u.c.k

引用支持者的发言:

我觉得这没有什么 哪个政府都要这样 难道CIA FBI不监视美国的网络吗?有什么好指责我们的政府的?不要太愤青
要合作 不能对抗

美国宪法也规定人民有推翻暴政政府的权利。

如果没有记错的话,这个公司应该在北四环信息工程学院的校园内

这东西的实用性有待考验。

引用支持者的发言:

我觉得这没有什么 哪个政府都要这样 难道CIA FBI不监视美国的网络吗?有什么好指责我们的政府的?不要太愤青
要合作 不能对抗

貌似 有人尝试通过立法让这种行为合法化 但总是失败 虽然有 但是不好公开

我们这里则是已存在的 公开的非合法化

大家好。我们是警警察察,请注意我们是河。蟹社会,否则我们就要把你平平安安!!!!!!!!

哈哈哈哈哈,看来又有人搞笑了。
典型的“只许州官放火,不许百姓点灯”啊。
错了,是“只许百姓点灯,不许州官放火”。
敢情在网络这个公共空间,你的言论谁都可以看,就是政府不能看,更不能去统计。
害怕自己说的话被人看见,就别上网发言啊?
不要搞到最后精神分裂~~

政富干啥都不希奇了,本文的重点是鹰犬吧。做到这份上也算够尽忠了。

愚弄人民的强有力武器啊!讃一个!!

北京锐安,这个公司也是搞这个的
好像搞这个的还不少呢
用来做鞭炮的火药

引用支持者的发言:

我觉得这没有什么 哪个政府都要这样 难道CIA FBI不监视美国的网络吗?有什么好指责我们的政府的?不要太愤青
要合作 不能对抗

米国有防火长城吗?SB!

前有“GFW”,后有“网络舆情监控系统”,互联网越来越不安全了

呵呵,我就纳闷呢,google还不知道在何方的时候咱们国内的监控就已经做得这么厉害了,原来高人都给国家做事去了

TRS这种公司为什么不倒闭啊

谁去烧了那家公司,袭击他们的员工?


....我开玩笑的,安安们不要抓我

没有什么好指责的,无论在国外还是国内都存在类似的大量的公司.

有人的地方,就会有江湖,有江湖的地方自然会有这样那样的打手和情报网。

出来混,早晚要还的。

看怎么看了,我感觉这种系统也没有什么,只不过是定制的google和baidu罢了.

这东西真畸形。

现在大陆不学“四书五经”了改学“马列主义”了。。。昨天我特别看了罗素《西方哲学史》关于卡尔.马克思的论述。。。深有体会啊。。。悲哀的。。现在的大陆彻头彻尾就是一个实用主义的代表,站在道德的制高点上宣传它的世界观、价值观。。。。

历史就像个任人打扮的小姑娘,现在新闻舆论也是个任人打扮的小姑娘。

道路以目是种极限状态,可是能“以目”的范围实在是太小了。

经济发展到现在这种程度,新闻言论自由倘若还不能保障,经济发展也会受到影响的。

怎么感觉还不如党国呢,历史书上还有些因为支持爱国青年而被查抄的报馆什么的咨询呢。难道我们真的是和谐社会啦?

概述:
goonie互联网舆情监控分析系统通过网页内容的自动采集处理、敏感词过滤、智能聚类分类、主题检测、专题聚焦、统计分析,实现相关网络舆情监督管理的需要,最终形成舆情简报、舆情专报、分析报告、移动快报,为决策层全面掌握舆情动态,做出正确舆论引导,提供分析依据。
七、功能需求:
一是完成全网和指定网站互联网信息监测;
二是对所监控内容进行敏感词过滤处理;
三是发现最新、最热、最重要的网络信息;
四是做到实时监控,日日简报,月月专报,要事快报;
五是及时输出统计分析报表,为领导辅助决策提供帮助。
系统应支持以下功能:
• 支持网页编码自动识别
• 支持正文自动识别抽取,无须标签配置
• 支持分布式部署
• 合理的模块化结构及方便的分类监控
• 支持新闻、博客、论坛、贴吧的采集监控
• 基于内容相似性去重识别
• 支持全网主题监控
• 支持敏感词过滤提取
• 支持网页快照
八、性能指标
性能优越:在普通网络带宽情况下,单机PC的采集能力达到30页面/秒。
效率优良:采集器所耗费的带宽的利用率超过80%。
CPU和内存的占有率不超过50%。
**********************************************
谷尼国际软件(北京)有限公司 =
电话:010-58732808/58732806/58732805-806
QQ:516350947
官方网站 http://www.goonie.cn
闻天下网 http://www.wentianxia.cn
**********************************************

TRS总部
地址:北京市朝阳区大屯路风林西奥中心
B座16层 邮编:100101 电话:010-64848899 Email: trs@trs.com.cn
TRS营销服务中心
地址:北京市朝阳区大屯路风林西奥中心
A座17层 邮编: 100101 电话:010-64848899 传真:010-64889088 Email: info@trs.com.cn
TRS上海分公司
地址:上海市延安中路841号东方海外大厦508室 邮编:200040 电话:021-62893651/52/53,62893351 传真:021-62893651/52/53转125 Email: trs.sh@trs.com.cn
TRS广州分公司
地址:广州市天河路45号天伦大厦604单元 邮编:510075 电话:020-37606308 传真:020-38303120 Email:trs.gz@trs.com.cn

"对于中国来说,2008年也是一个发生了众多事件之年,从三鹿毒奶粉、哈尔滨警察打人致死、到山西政协主席因公殉职,种种消息通过网络舆情传播放大,造成了广泛的社会影响,政府部门承受着巨大的舆论压力。"


难道政府想掩盖这些事实吗??

引用支持者的发言:
我觉得这没有什么 哪个政府都要这样 难道CIA FBI不监视美国的网络吗?有什么好指责我们的政府的?不要太愤青要合作 不能对抗
这小子是在转移视线,作者明明指的是毛毛们在操控民意,制造假民情。跟CIA,FBI监视网络有可比性吗,他们只是监视,并没有发言。。

一个高科技间谍,如果政客们能把这份精力转换成军事研究那么我们的国家早就成了一个名符其实的大国了.

“舆情监控”,“监控”就是两方面“监测”和“控制”。

如果只是“舆情监测”,那确实是政府应该做的,政府的确应该实时了解舆情动向,以便及时调整工作重心。

但坏就坏在“控制”,舆情要是被你政府说控制就控制了的话,
就不是好事了。

“种种消息通过网络舆情传播放大,造成了广泛的社会影响,政府部门承受着巨大的舆论压力。”——某处程度上应该是“还原”,而不是“放大”

兄弟们,美国的FBI早就对网络、电话实施全民监控了。美国的GOOGLE是专门为CIA提供信息收集分析服务。国与国之间,合作是暂时的,对立是永远的。所以千万不要被蒙蔽了。

防民之口甚于防川

YO,在我们公司隔壁

今天老板搞了一份江苏某个市的舆情监控系统建设方案,居然要我来研究一下看能不能给个技术设计,老实说,这种政府项目,就是吹,什么智能,什么语义分析,什么各种分布式,名词一大堆,看了一下,大概就是准备搞一个爬虫,去爬论坛啊,微博啊,然后忽悠一套什么智能语义分析,再搞一数据挖掘,虽然以我的经验,这种东西做出来,最后就是苦逼的程序员坑了一批苦逼的运维人员和操作人员,说白了,只要能用,再烂都没关系,但还是不准备玩了,考虑辞职算了,对不起自己的良心

长见识了

乐思网络舆情监测系统 http://www.knowlesys.cn 实施后好处:
1. 可实时监测微博,论坛,博客,新闻,搜索引擎中相关信息web2db knowlesys web2db
2. 可对重点QQ群的聊天内容进行监测
3. 可对重点首页进行定时截屏监测及特别页面证据保存
4. 对于新闻页面可以找出其所有转载页面web2db knowlesys web2db
5. 系统可自动对信息进行分类26禁止9盗用0
6. 系统可追踪某个专题或某个作者的所有相关信息
7. 监测人员可对信息进行挑选,再分类
8. 监测人员可以基于自己的工作结果轻松导出制作含有图表的舆情日报周报

快页舆情监测管理系统支持论坛、新闻、博客、贴吧、WAP网站和微博等多种收集信息;并且可以使用谷歌、百度的搜索结果完善系统的数据,包括各种网络的评论都是系统的数据来源,实现全天候无遗漏监控。因此,对于互联网上传播的正、负面消息,都可以及时准确掌控,使您能在第一时间做出处理,维护贵单位(政府机关、部门单位、公司企业、医疗机构等)在社会中的良好形象。

网络页面舆情监控、分析、处置其中也包括部分虚假不实新闻、论坛、博客、微博、微信公众平台、自媒体等网站的负面影响的帖子删除危机公关的行为,如何删除一些虚假的网页负面帖子信息联系QQ:1162061696

我要发表看法

«-必填

«-必填,不公开

«-我信任你,不会填写广告链接