做电网大数据分析的话咋获得数据集呢国内或国外( 二 )


做电网大数据分析的话咋获得数据集呢国内或国外

图6 :聚类结果
“智能电网”的语义结果展示如图7,
做电网大数据分析的话咋获得数据集呢国内或国外

图7: 语义结果
点击“分析”按钮后,展示对“智能电网”的语义统计分析结果动态展示,如图8,语义搜索引擎通过语义分析,关键词提取,获取问题主体就时间变化的可视化图谱。此功能是根据时间轴通过文本的语义分析给出一个时序性动态的主题展示结果。图8中,右侧为分析对象说明,左侧为结果动态展示。下方展示搜索引擎对“智能电网”从2007年到2015年相关信息的搜索挖掘基于语义分析并呈现动态可视化的知识推送。
做电网大数据分析的话咋获得数据集呢国内或国外

图8: 语义统计分析动态展示
搜索引擎在问题语义理解的基础上通过聚类技术对与主题相关文章进行聚类并统计出文章数量。每篇文章通过实体抽取、关键词提取等标注出文章来源、版块、发布时间、作者及这篇文章的关键词。
搜索引擎采用了实体抽取系统能够智能识别出文本中出现的人名、地名、机构名、媒体、作者及文章的主题关键词,这是对语言规律的深入理解和预测。而且其所提炼出的词语不需要在词典库中事先存在。另外,本功能统计出与实体相关的文章数量。图9中红框内相关人物聚类中显示与搜索问题相关的人物及文章数。
做电网大数据分析的话咋获得数据集呢国内或国外

图9: 相关人物聚类
相关概念词发现和相关任务的计算的结果来自于对10年报纸数据的学习。机器学习算法在不对迭代的对10年报纸的数据学习过程中,形成了词与词之间的关联,从而构建出了类似于本体库的词关系网(词网),通过给定词来计算相近关系和相邻关系的词和人物。
三、 统计分析
搜索引擎不仅有知识管理及搜索功能,还能在后台进行统计分析,直接展示出分析结果,如图,搜索“智能电网”后“*网报信息来源地图“中的展示,由颜色深浅表示文章的相关来源城市出现的次数高低,蓝色约深表示相关文章来源城市出现频次高。以图10为例,“智能电网”相关文章在黑龙江、内蒙古、贵州、云南、广西、广东、海南、台湾等城市出现次数较少,说明这些城市还没有发展智能电网,可做电网人员的决策参考。
做电网大数据分析的话咋获得数据集呢国内或国外

图10 :国网报信息来源地图
“智能电网”相关文章统计分析展示如图11,左饼图表示“智能电网”相关文章的作者统计分析,右边饼图表示“智能电网”相关文章所在版块的统计分析。
做电网大数据分析的话咋获得数据集呢国内或国外

图:11:文章相关统计
同时展示“智能电网”2008-2015年期间的话题变化曲线情况,如图:12
做电网大数据分析的话咋获得数据集呢国内或国外

图12:话题变化曲线
【做电网大数据分析的话咋获得数据集呢国内或国外】 四、语义技术
语义技术部分展现的是后台的语义处理技术,包括概念发现、关联关系的建立和基于机器学习的关系计算,最红利用完善的本体库,进行语义计算。


推荐阅读