博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python爬虫(五)
阅读量:5068 次
发布时间:2019-06-12

本文共 1158 字,大约阅读时间需要 3 分钟。

源码:

1 import requests 2 from lxml import etree 3 from my_mysql import MysqlConnect 4  5  6 mc = MysqlConnect('127.0.0.1','root','123456','homework') 7 sql = 'insert into lianjia(title,addr,shape,area,dire,price) values(%s,%s,%s,%s,%s,%s)' 8 for page in range(3): 9     url = 'https://bj.lianjia.com/zufang/pg{}rp2rp1/'.format(page)10     response = requests.get(url)11     html = etree.HTML(response.text)12     li_list = html.xpath('//ul[@id="house-lst"]/li')13     # print(li_list)14     for li_ele in li_list:15         title = li_ele.xpath('./div[2]/h2/a')[0].text16         addr = li_ele.xpath('./div[2]/div[1]/div[1]/a/span')[0].text17         shape = li_ele.xpath('./div[2]/div[1]/div[1]/span[1]/span')[0].text18         area = li_ele.xpath('./div[2]/div[1]/div[1]/span[2]')[0].text19         dire = li_ele.xpath('./div[2]/div[1]/div[1]/span[3]')[0].text20         price = li_ele.xpath('./div[2]/div[2]/div[1]/span')[0].text21         # print(title,addr,shape,area,price)22         data = (title,addr,shape,area,dire,price)23         print(data)24         mc.exec_data(sql,data)25         # break

 

转载于:https://www.cnblogs.com/zhxd-python/p/9501310.html

你可能感兴趣的文章
ajax
查看>>
poj1981 Circle and Points 单位圆覆盖问题
查看>>
POP的Stroke动画
查看>>
线程同步机制初识 【转载】
查看>>
Oracle 游标使用全解
查看>>
SQL语句在查询分析器中可以执行,代码中不能执行
查看>>
yii 1.x 添加 rules 验证url数组
查看>>
html+css 布局篇
查看>>
银行排队问题(详解队列)
查看>>
序列化和反序列化(1)---[Serializable]
查看>>
SQL优化
查看>>
用C语言操纵Mysql
查看>>
轻松学MVC4.0–6 MVC的执行流程
查看>>
4.9 Parser Generators
查看>>
redis集群如何清理前缀相同的key
查看>>
redis7--hash set的操作
查看>>
20.字典
查看>>
Python 集合(Set)、字典(Dictionary)
查看>>
oracle用户锁定
查看>>
(转)盒子概念和DiV布局
查看>>