Python爬虫视频教程零基础小白到scrapy爬虫高手-轻松入门

网址构架 首页+地区+p页数

 http://china.guidechem.com/suppliers/list_catid-21_area-%E6%B1%9F%E8%8B%8F-p2.html

 

 

 

# -*- coding: utf-8 -*-"""Created on Sun May  8 09:33:09 2016browser.find_element_by_class_name("clist_list_content_r")  只是抓取第一个elementbrowser.find_elements_by_class_name("clist_list_content_r")  抓取所有elements@author: daxiong"""import requests,bs4,csv,time,selenium,randomfrom selenium import webdrivercharset="utf-8"site="http://china.guidechem.com/suppliers/list_catid-21.html"site_jiangsu="http://china.guidechem.com/suppliers/list_catid-21_area-%E6%B1%9F%E8%8B%8F.html"#site3="https://www.baidu.com/"browser=webdriver.Firefox()#browser.get(site3)browser.get(site_jiangsu)elems=browser.find_elements_by_class_name("clist_list_content_r")'''elems[0].textOut[13]: '张家港市思普生化有限公司 已实名备案\n主要产品：L-赖氨酸 L-蛋氨酸 L-脯氨酸 L-天冬酰胺 L-色氨酸 73-22-3\n电话：86-512-58992291\n地址：江苏省苏州市张家港经济技术开发区'elems[1].textOut[14]: '常州亿源生物科技有限公司 已实名备案\n主要产品：3-氟-4-甲氧基苯甲酸 2,4,6-三甲基苯乙酸 5-溴-3-氯吲唑 4-氨基-3-氟苯甲酸 2,4,6-三氟苯乙酸\n电话：86-0519-82551605\n地址：常州市金坛金东工业园''''