/中文/
/中文/
/中文/
/中文/
/中文/
/中文/
/中文/
/中文/
/中文/
/中文/
後羿采集器是是一款非常實用的網頁數據采集,這款采集器不需要開發,任何人都能用,數據可導出到本地文件、發布到網站和數據庫等,十分方便
1、可視化自定義采集流程
全程問答式引導、可視化操作、自定義采集流程
自動記錄和模擬網頁操作順序
高級設置滿足更多采集需求
2、點選抽取網頁數據
鼠標點擊選擇要爬取的網頁內容、操作簡單
可選擇抽取文本、鏈接、屬性、html標簽等
3、運行批量采集數據
軟件按照采集流程和抽取規則自動批量采集
快速穩定,實時顯示采集速度和過程
可切換軟件後台運行,不打擾前台工作
4、導出和發布采集的數據
采集的數據自動表格化,自由配置字段
支持數據導出到Excel等本地文件
和一鍵發布到CMS網站/數據庫/微信公眾號等媒體
雙擊打開安裝包,點擊“我接受”
選擇安裝位置,點擊“安裝”,等待安裝完成即可
自定義采集百度搜索結果數據的方法
步驟1:創建采集任務
1)啟動後羿采集器,進入主界麵,選擇自定義采集並點擊創建任務按鈕創建 "自定義采集任務"
2)輸入百度搜索的URL,包括三種方式
1、手動輸入:在輸入框中直接輸入URL,多個URL時須要換行分割
2、點擊從文件中讀取方式:用戶選擇一個存放URL的文件,文件中可以有多個URL地址,地址須要換行分割。
3、批量添加方式:通過添加並調整地址參數生成多個有規律的地址
步驟2:自定義采集流程
1)點擊創建後自動打開第一個URL進而進入自定義設置頁麵,默認已經創建了開始、打開網頁、結束的流程塊。底部模板區用於拖拽到畫布中生成新的流程塊;點擊打開網頁中的屬性按鈕,可修改打開的網址
2)添加輸入文字流程塊:在底部模板區中拖拽輸入文字塊到打開網頁塊後麵附近,當出現陰影區域的時候可以鬆開鼠標,此時會自動連接,添加完成
3)生成完整流程圖:仿照上麵添加輸入文字流程塊的拖拽流程添加新塊:如下圖所示:
關鍵步驟塊設置介紹
步驟2:定時等待用於等待前麵打開網頁完成
步驟3:點擊輸入框Xpath屬性按鈕,在屬性菜單中點擊圖標進行點選網頁中的輸入框,點擊輸入文本屬性按鈕,在菜單中輸入要搜索的文本。
步驟4:用於設置點擊開始搜索按鈕,點擊元素的xpath屬性按鈕,在菜單中點擊點選圖標,然後點擊網頁中的百度一下按鈕即可。
步驟5:用於設置循環加載下一列表頁。在循環塊內部的循環條件塊中設置詳細條件,此處點擊操作按鈕,選擇單個元素,然後在屬性菜單中點擊元素的xpath屬性按鈕,同上進行點選網頁中的下一頁按鈕。循環次數屬性按鈕可默認為0,即不限製點擊下一頁的次數。
步驟6:用於設置循環抽取列表頁中的數據。在循環塊內部的循環條件塊中設置詳細條件,此處點擊操作按鈕,選擇不固定元素列表,然後在屬性菜單中點擊元素的xpath屬性按鈕,然後在網頁中連續點選兩次抽取第一塊和第二塊元素。循環次數屬性按鈕可默認為0,即不限製列表中收取字段的數量。
步驟7:用於執行點擊下一頁按鈕操作,點擊元素xpath屬性按鈕,選擇使用當前循環中元素的xpath選項。
步驟8:同理用於設置網頁加載等待時間。
步驟9:用於設置在列表頁抽取的字段規則,點擊屬性按鈕中使用循環中的元素按鈕,選擇使用循環中的元素選項。點擊元素模板屬性按鈕在字段表格中點擊加減進行添加刪除字段,添加字段使用點選操作,即點擊加號後鼠標移動到網頁元素上點擊選擇。
4)點擊開始采集,啟動采集
步驟3:數據采集及導出
1)采集任務運行中
2)采集完成後,選擇“導出數據”可以把數據都導出到本地文件
3)選擇“導出方式”,將采集好的數據導出,這裏可以選擇excel作為導出為格式
4)采集數據導出後如下圖