锐英源软件
第一信赖

精通

英语

开源

擅长

开发

培训

胸怀四海 

第一信赖

当前位置:锐英源 / 开源技术 / 外包精品 / 网页优化分析技术
服务方向
人工智能数据处理
人工智能培训
kaldi数据准备
小语种语音识别
语音识别标注
语音识别系统
语音识别转文字
kaldi开发技术服务
软件开发
运动控制卡上位机
机械加工软件
软件开发培训
Java 安卓移动开发
VC++
C#软件
汇编和破解
驱动开发
联系方式
固话:0371-63888850
手机:138-0381-0136
Q Q:396806883
微信:ryysoft

本项目使用VS2008平台C#语言开发,实现功能如下:


a、网站上过期货品自动删除

b、网站上有效货品运费自动采集

c、网站上有效货品运费自动扣除

主界面:

主界面

成果证明:

成果证明

技术难点有:

  1. a、一表多页数据采集
  2. b、复杂流程调度
  3. c、国外网站大并发数据处理
  4. d、大并发数据分析优化技术

心得有:

合理使用线程,项目中使用线程未必会加快整体的效率。

开源技术点:


  1. 1、大并发数据分析优化技术

不要每次都从全部的HtmlDocument里去找,这样很费时间,如果当前要找的标签和已经找到的标签有隶属关系,可以用已经找到的标签范围内来查找。
在下面代码行里,heTable的类型是:HTMLTableClass,想要找的目标在这个表里,所以可以这样查:
HtmlElement hhdel = FindControlByName(sPrice, heTable.All);

  1. 2、怎样获取ul标签里的内容

bool GetPagesText(HtmlElement hePages)
{
string souter = hePages.OuterText;
int iFind = -1;
string sleft = "";
while (true)
{
iFind = souter.IndexOf(' ');
if (iFind == -1)
break;
string stemp=souter.Substring(0,iFind);
m_saDataPageName[m_iPagesCount++] = stemp;
sleft = souter.Substring(iFind + 1, souter.Length - iFind - 1);
souter = sleft;
}
return true;
}

友情链接
版权所有 Copyright(c)2004-2021 锐英源软件
公司注册号:410105000449586 豫ICP备08007559号 最佳分辨率 1024*768
地址:郑州大学北校区院(文化路97号院)内