首页>代码>java抓取html网页数据内容demo>/zhaopin/src/com/Action/zhuaqu.java
package com.Action;

import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.Map.Entry;

import com.Dao.zrdpDao;
import com.Dao.Impl.zrdpDaoImpl;
import com.Model.Piliang;
import com.Model.Qzpiliang;

public class zhuaqu {
	/**
	 */
	private Map<String,String> pageLink = new HashMap<String,String>();				//网页链接 求租
	private Map<String,String> pageLinkQZ = new HashMap<String, String>();			//网页链接 转让
	private  zrdpDao zrDao;			//接口
	private boolean flag ;			//操作结果
	private  Piliang zrdp;		//数据对象  转让
	private Qzpiliang qzzrdp;	//数据对象  求租
	private int urlindex;			//网页参数,分页页码
	private String pageurl;			//抓取网页链接的地址
	private List<Piliang> dplist;		//排重店铺集合
	private String tel;					//店铺联系方式
	private List<Object> dparrs;		//重复店铺id 集合
	
	private String hrefs ;
	private int cityflag;			//城市标志

	
/**
 * 转让信息抓取 入库	
 * @return
 */
@SuppressWarnings("unchecked")
public String getshopinfoFromweb(){
	//抓取网页链接
	try {
		pageLink = zrDao.getUsePageLink(pageurl,urlindex,cityflag);   //抓取网页链接
	} catch (Exception e) {
		e.printStackTrace();
	}
		//数据入库
		Iterator iter = pageLink.entrySet().iterator();
		while(iter.hasNext()){
			Map.Entry<Integer,String> e = (Map.Entry<Integer,String>)iter.next();
			try {
				zrdp= zrDao.getShopInfoFromWeb(e.getValue()+".htm");  //抓取单条信息   转让
				zrdp.setCityFlag(cityflag);
				flag = zrDao.intoDatabase(zrdp);					//单条信息入库
			} catch (Exception e2) {
				e2.printStackTrace();
			}
		}
    
	return "getshopinfosuc";
}




/**
 * 求租信息抓取 入库
 * @return
 */
@SuppressWarnings("unchecked")
public String getshopinfoFromwebQZ(){
	//抓取网页链接
	try {
		pageLinkQZ = zrDao.getUsePageLinkQZ(pageurl,urlindex,cityflag);   //抓取网页链接
	} catch (Exception e) {
		e.printStackTrace();
	}
		//数据入库
		Iterator qziter = pageLinkQZ.entrySet().iterator();
		while(qziter.hasNext()){
			Map.Entry<Integer,String> qze=(Entry<Integer, String>) qziter.next();
			try {
				qzzrdp = zrDao.getShopInfoFromWebQZ(qze.getValue()+".htm");  //抓取单条信息    求租
				qzzrdp.setCityFlag(cityflag);
				flag = zrDao.intoDatabaseQZ(qzzrdp);						//单条信息入库
			} catch (Exception e) {
				e.printStackTrace();
			}
		}
	
	return "getqzshopinfosuc";
}




public String dpPaichong(){
			dparrs = zrDao.getSameDpId(cityflag);
				try {
					for (int i = 0; i < dparrs.size(); i++) {
						flag =zrDao.paichongdp(dparrs.get(i).toString());
					}
				} catch (Exception e) {
					e.printStackTrace();
				}
			return "paichongsuc";
		}


//单条数据抓取测试
public    String dddd(){
	try {
		zrdp = zrDao.getShopInfoFromWeb("C://Documents and Settings//Administrator//桌面//lx.mht");
	} catch (Exception e) {
		e.printStackTrace();
	}
	return "ddd";
}


public static void main(String[] args) {
	zrdpDaoImpl dd = new zrdpDaoImpl();
	Map<String,String> mm=dd.getUsePageLink("http://192.168.1.47/plpwmanagers/",1,1);
	System.out.println(mm);
}




public Map<String, String> getPageLink() {
	return pageLink;
}

public void setPageLink(Map<String, String> pageLink) {
	this.pageLink = pageLink;
}

public zrdpDao getZrDao() {
	return zrDao;
}

public void setZrDao(zrdpDao zrDao) {
	this.zrDao = zrDao;
}



public Piliang getZrdp() {
	return zrdp;
}

public void setZrdp(Piliang zrdp) {
	this.zrdp = zrdp;
}

public boolean isFlag() {
	return flag;
}

public void setFlag(boolean flag) {
	this.flag = flag;
}

public int getUrlindex() {
	return urlindex;
}

public void setUrlindex(int urlindex) {
	this.urlindex = urlindex;
}

public String getHrefs() {
	return hrefs;
}




public String getTel() {
	return tel;
}

public void setTel(String tel) {
	this.tel = tel;
}

public String getPageurl() {
	return pageurl;
}

public void setPageurl(String pageurl) {
	this.pageurl = pageurl;
}

public List<Piliang> getDplist() {
	return dplist;
}

public void setDplist(List<Piliang> dplist) {
	this.dplist = dplist;
}

public List<Object> getDparrs() {
	return dparrs;
}

public void setDparrs(List<Object> dparrs) {
	this.dparrs = dparrs;
}

public void setHrefs(String hrefs) {
	this.hrefs = hrefs;
}




public Map<String, String> getPageLinkQZ() {
	return pageLinkQZ;
}




public void setPageLinkQZ(Map<String, String> pageLinkQZ) {
	this.pageLinkQZ = pageLinkQZ;
}




public Qzpiliang getQzzrdp() {
	return qzzrdp;
}




public void setQzzrdp(Qzpiliang qzzrdp) {
	this.qzzrdp = qzzrdp;
}




public int getCityflag() {
	return cityflag;
}




public void setCityflag(int cityflag) {
	this.cityflag = cityflag;
}

	
}
最近下载更多
朱俪的邮件及存储  LV8 3月11日
sunlea  LV20 2022年9月8日
moomin709  LV24 2022年7月25日
1798672867  LV21 2021年8月6日
benbosn  LV15 2020年9月11日
aaa最代码  LV14 2020年7月30日
921117  LV4 2020年4月26日
Marcos  LV1 2020年1月31日
tyyeng  LV18 2020年1月31日
2392975497  LV1 2019年10月17日
最近浏览更多
朱俪的邮件及存储  LV8 3月11日
微信网友_5992582549164032  LV6 2022年12月12日
xiaoxiexie  LV13 2022年11月13日
qwertyuiopzxc  LV1 2022年10月14日
sunlea  LV20 2022年9月8日
moomin709  LV24 2022年7月25日
流眼泪  LV1 2022年3月24日
小熊专属  LV3 2021年12月15日
13798956075  LV1 2021年10月8日
1798672867  LV21 2021年8月6日
顶部 客服 微信二维码 底部
>扫描二维码关注最代码为好友扫描二维码关注最代码为好友