????????前言就不过多赘述了，大家只要把scrapy的基本了解之后就可以完成这个项目。
一：创建scrapy项目：
?打开控制台输入 scrapy startproject beibus(这个是项目名称，可以自己修改)
进入项目文件夹创建爬虫scrapy genspider (爬虫名) (域名)
?查看beibus项目，如果有刚刚创建的爬虫名称的py文件，说明爬虫创建成功
二：设置settings
打开settings.py文件，修改ROBOTSTXT_OBEY的值为False
?
并且将DEFAULT_REQUEST_HEADERS参数取消注释，在后方加上User-Agent参数，这个参数大家可以自行选择网站，笔者这边选择的是www.baidu.com的headers
?三：创建并编写start_requests方法
class BeiBusSpider(scrapy.Spider):
name = 'bei_bus'
allowed_domains = ['beijing.8684.cn']
start_urls = 'http://beijing.8684.cn'
def start_requests(self):
for page in range(2):
url='{url}/list{page}'.format(url=self.start_urls,page=(page+1))
yield scrapy.FormRequest(url,callback=self.parse_index)
def parse_index(self,response):
pass
def parse(self, response):
pass此方法名固定，启动scrapy首先启动该方法。
获取一级url之后使用callback将url回调到parse_index方法
四：创建并编写parse_index方法
def parse_index(self,response):
beijing=response.xpath('//div[@class="cc-content service-area"]/div[2]/a/@href').extract()
for href in beijing:
url2=urljoin(self.start_urls,href)
yield scrapy.FormRequest(url2,self.parse_detail)使用response.xpath获取需要的数据，笔者这边获取的是公交路线之后的二级url
?使用urljoin拼接url和刚刚爬取的href获取二级url之后callback回调到parse_detail方法
五：在parse_detail方法获取需要爬取的数据
笔者这边爬取的数据是公交路线名称，公交路线以及起点和终点
?
?
def parse_detail(self,response):
name=response.xpath('//h1[@class="title"]/text()').extract()
trip=response.xpath('//div[@class="trip"]/text()').extract()
luxian=response.xpath('//div[@class="bus-lzlist mb15"]/ol/li/a/text()').extract()?name
trip
luxian
?
?至此，数据爬取完成。下面是scrapy爬取数据导入数据库的步骤。
一：进入 items.py 文件，修改其中的 class 以格式化数据
?二：在 bei_bus.py 文件的 parse_detail方法的末尾添加如下语句，以格式化数据
bus_item = BeibusItem()
for field in bus_item.fields:
bus_item[field] = eval(field)
yield bus_item三：在 MySQL 的 bus?数据库中创建一个 businfo表
?四：在 settings.py 文件末尾添加如下参数
DB_HOST = 'localhost'
DB_USER = 'root'
DB_PWD = 'liu19780928'
DB_CHARSET='UTF8'
DB = 'bus'（根据个人实际更改）
五：在 pipelines.py 文件中，修改 class 名称为 MySQL Pipeline，添加初始 化方法，将 host、user、password、db、charset 从 settings 中读取出来，并通 过添加一个 connect()方法建立与数据库的连接
class MysqlPipeline(object):
def __init__(self):
self.host = settings.DB_HOST
self.user = settings.DB_USER
self.pwd = settings.DB_PWD
self.db = settings.DB
self.charset = setting.DB_CHARSET
self.connect()
def connect(self):
self.conn = pymysql.connect(host=self.host,
user=self.user,
password=self.pwd,
db=self.db,
charset=self.charset)
self.cursor=self.conn.cursor()
def process_item(self, item, spider):
return item六：添加一个 close_spider方法，用于关闭 MySQL 数据库连接
def close_spider(self, spider):
self.conn.close()
self.cursor.close()七：实现 process_item()方法，用于完成向数据库中插入数据的操作
def process_item(self, item, spider):
sql='insert into businfo values("%s","%s","%s")'%(item['name'],item['trip'],item['luxian'])
self.cursor.execute(sql)
self.conn.commit()
return item八：在 settings.py 中将 ITEM_PIPELINES 方法的注释去掉，并将其中的内容 改为“'beibus.pipelines.MysqlPipeline':300”，
ITEM_PIPELINES ={
'beibus.pipelines.MysqlPipeline': 300
}九：执行 “scrapy crawl bei_bus”命令，启动爬虫项目
?最后查看一下mysql数据
select * from businfo;
Scrapy爬取北京公交完成！