面向政府采购的网络数据采集系统
| 交易品种 | 技术成果 |
| 技术权属 | 李小华 朱珍 |
| 挂牌开始时间 | 2019-02-27 |
100075
次围观
分享
发送到手机
-
![]()
广东高速公路服务区规划用于汽修项目物业租赁10个子项目（详见附件）
详见项目基本信息 -
![]()
广州市海珠区芳园路138号2503室、2504室、2505室（粤传媒大厦2503室、2504室、2505室）
租金总额¥2,842,842元（不含物业管理费） -
![]()
整体出租广州市白云区三元里大道1115号首层、三元里大道1115号二楼全层、三元里大道1111号3楼301、302、303、304 等6项房产
¥80815元/月（不含物业费），逐年递增3% -
![]()
广东金属智造科技产业园基础设施工程（二期）佛云大道北延段（原思劳东高速出入口连接线）排险工程多余石方（一期）处置权
620万元 -
![]()
29,500,000.00元
-
项目基本信息
项目详情: 本项目是2017年佛山市科技局科技发展专项资金项目《面向政府采购的大数据服务平台》的阶段性可独立应用的成果。该系统是一款网络“爬虫”软件，实现从政府采购相关网站中自动采集政府采购公开数据，通过抓取、过滤、转换、编码等操作形成结构化数据集合，并以结构化方式将其进行统一存储。 系统结构如图所示。系统基于.Net Framework 4.5+SqlServer 2008 R2开发，由多线程启动、数据采集、链接过滤、数据解析、数据存储和数据导出等六大功能模块组成。各模块功能如下：1）多线程启动。通过参数设置创建多个并发性线程，执行数据采集、链接过滤、数据解析、数据存储等任务。2）数据采集。通过网站解析、链接分析和页面分析，获取政府采购相关网站的获取网站布局特性、HTML页面信息和链接信息，并将其交给链接过滤模块进行分析。3）链接过滤。根据需求设置匹配链接的参数，过滤出链接并将链接交由数据存储模块处理。4）数据解析。将链接过滤的链接及数据解析的项目标题和项目内容等内容存进数据库。5）数据存储。通过Ado.Net将采集到的并经过多层加工的数据存储到数据库。6）数据导出。根据采集目标将所需的数据导出到指定路径本地磁盘中，以txt文档格式进行存储。该系统是大数据体系架构中数据采集层的重要工具。实际应用表明该系统在面向政府采购的网络数据采集中，性能良好。实验表明该系统完全适用于其他领域的网络数据采集，在其他行业或领域的网络数据采集有广阔应用前景和推广价值。
-
交易信息与受让方义务
交易品种: 技术成果 挂牌时间: 2019-02-27 技术成果分类:
