亚洲好骚综合-亚洲黄色录像-亚洲黄色网址-亚洲黄色网址大全-99久久99久久-99久久99久久精品国产

您的位置:軟件測試 > 開源軟件測試 > 開源功能測試工具 > Selenium
Python Selenium爬取數據
作者:風雨byt 發布時間:[ 2016/12/22 14:28:05 ] 推薦標簽:功能測試 Selenium

  近公司有一項爬取數據的工作,借鑒以往的代碼將爬蟲重新更新并整理
  將現有爬蟲分成幾部分
  0.文件讀取器
  其實文件讀取和4中的文件存儲是在一個部分的
  這里簡單介紹下xls的讀取
def deal_xls_col(name,sheet_name):
body = xlrd.open_workbook(name)
try:
sh = body.sheet_by_name(sheet_name)
except:
print "EORR"
return sh.col_values(0)格式請忽略
  這里讀取了一豎行的xls的數據
  返回的格式為list
  1.總調度器
  這里主要是寫邏輯,及0234的順序。
  2.網頁下載器
  網頁下載器主要是來模擬瀏覽器訪問對應url
  一個簡單的例子
class HtmlDownloader(object):
def download(self,url):
if url is None:
return None
response = urllib2.urlopen(url,timeout=300)
if response.getcode() != 200:
return None
return response.read()
  例子只是去訪問url并沒有對cookie等相關限制信息做處理(需要請自行添加)
  3.網頁分析器
  網頁分析器其實是來處理下載器返回的html的源碼,比如用selenium來處理的話則有
  company_info_text = driver.find_element_by_class_name('company_info_text')
  company_text = driver.find_element_by_class_name('row b-c-white company-content')
  是用selenium的一些方法來獲取你需要的數據而已
  4.文件存儲器
  這里以xls為例:
def creat_xls_6(xls_name):
styleBoldRed = xlwt.easyxf('font:color-index red, bold on')
headerStye = styleBoldRed    wb = xlwt.Workbook()
ws = wb.add_sheet(xls_name)
ws.write(0, 0, "name", headerStye)
ws.write(0, 1, "oper_name", headerStye)
ws.write(0, 2, "start_date", headerStye)
ws.write(0, 3, "xfsSearchStatus", headerStye)
wb.save(xls_name)
  創建xls表格
def insert_xls_6(xls_name,id, name, oper_name, start_date,xfsSearchStatus):
oldWb = xlrd.open_workbook(xls_name)
newWb = copy(oldWb)
newWs = newWb.get_sheet(0)
newWs.write(id, 0, name)
newWs.write(id, 1, oper_name)
newWs.write(id, 2, start_date)
newWs.write(id, 3, xfsSearchStatus)
newWb.save(xls_name)
  插入數據到表格
  這里面沒有什么高深的秘密,只要你封裝好自己的函數好了
  上面的例子還不是好的版本,因為每次使用都要重新修改,應該傳入一個數據來代替那些變量,這樣可以適配各種數據的表格創建和添加了
  還有要說的是:一些網站會限制你爬取數據,但是大多數網站都是友好的,但是這并不表示你可以肆無忌憚的毫無限制的去爬取。爬取的時間好設置成晚上或者。。。。
  還有是不要對目標網站造成不必要的‘傷害’。

軟件測試工具 | 聯系我們 | 投訴建議 | 誠聘英才 | 申請使用列表 | 網站地圖
滬ICP備07036474 2003-2017 版權所有 上海澤眾軟件科技有限公司 Shanghai ZeZhong Software Co.,Ltd
主站蜘蛛池模板: h成年动漫同人网站免费 | 成人免费xxxxx在线视频 | 国产福利不卡 | 成人国产在线观看 | 欧美八区 | 99视频在线精品自拍 | 天天摸日日操 | 2021精品国内一区视频自线 | 久草香蕉视频在线观看 | 日韩精品福利视频一区二区三区 | 夜夜爽一区二区三区精品 | 日本中文字幕一区二区有码在线 | 欧美狂交 | 欧美亚洲网站 | 最近最新好看的中文字幕2019 | 国产精品一区二区手机看片 | 免费一级欧美片在线观看 | www.狠狠插 | 亚欧乱色视频网站大全 | 天天射影院 | 舔射插啊~在线观看女女 | 欧美在线精品永久免费播放 | 国产精品午夜波多野结衣性色 | 国产黄色大全 | 一级毛片视屏 | 国产日皮视频 | 欧美8888| 在线免费观看黄色大片 | 第一页综合 | 丁香六月激情 | 天天干天天操天天爽 | 狠狠干一区| 中文字幕中文字幕 | 中文字幕亚洲无线码在线一区 | 午夜精品在线视频 | 日本欧美国产精品第一页久久 | 羞羞污视频 | 亚洲国产日韩欧美综合久久 | 国产成人欧美一区二区三区vr | 国产成人综合久久亚洲精品 | 日韩在线黄色 |