LocoySpider(火車采集器)v10.2.22.228

火車采集器(LocoySpider)是一款支持遠程下載文件，拓展性範圍廣，通用性強，采集速度賊快，功能上還是很強大的功能強大的網絡數據/信息挖掘軟件，通過靈活的配置，您可以很輕鬆的從網頁上抓取文字、圖片、文件等任何資源。

【火車采集器(LocoySpider)軟件介紹】

火車采集器(LocoySpider)是一個功能強大的數據采集軟件．使用它，您可以很容易的從網頁上抓取文字，圖片，文件等資源．程序支持遠程下載圖片文件，支持網站登陸後信息采集，支持探測文件真實地址，支持代理，支持防盜鏈的采集，支持采集數據直接入庫和模仿人手工發布等．同時，軟件具有極高的穩定性，可以多線程，多任務的工作，您可以用它進行大批量數據的更新．程序還支持多頁和分頁的采集，再難的數據格式也可以找到解決方案．

【火車采集器(LocoySpider)軟件特色】

1、支持所有網站編碼：完美支持采集所有編碼格式的網頁,程序還可以自動識別網頁編碼。

2、多種發布方式：支持目前所有主流和非主流的CMS,BBS等網站程序,通過係統的發布模塊能實現采集器和網站程序間的完美結合。

3、全自動：無人值守工作，配置好程序後，程序將依據您的設置自動運行，完全無需人工幹預。

4、本地編輯：本地可視化編輯已采集的數據。

5、采集測試：這是其它任何同類采集軟件所不能比的，程序支持直接查看采集結果並測試發布。

6、管理方便：使用站點+任務方式管理采集節點，任務支持批量操作，再多的數據管理也很輕鬆。

【火車采集器(LocoySpider)基本功能】

1、規則自定義 - 通過采集規則的定義，可以搜索所有網站采集幾乎任何類型的信息。

2、多任務，多線程 - 可以同時進行多個信息獲取任務，每個任務可以使用多個線程。

3、所見即所得 － 任務采集過程所見即所得，過程中遍曆的鏈接信息、采集信息、錯誤信息等都會及時的反映在軟件界麵中。

4、數據保存 － 數據邊采集邊自動保存到關係數據庫中，並且數據結構能夠自動適應，軟件可以根據采集規則自動創建數據庫，以及其中的表和字段，也可以通過導庫方式靈活的將數據保存到客戶已有的數據庫結構中。

5、斷點續采 - 信息收集任務可以在停止後從斷點開始繼續采集，從此你用不再擔心你的采集任務意外中斷了。

6、網站登錄 － 支持網站Cookie，支持網站可視化登錄，即使登錄時需要驗證碼的網站也能采集。

7、計劃任務 - 通過這個功能可以讓你的采集任務定時、定量或者一直循環執行。

8、采集範圍限製 - 可以根據采集的深度和網址的標識來限製采集的範圍。

9、文件下載 － 可以將采集到的二進製文件（諸如：圖片、音樂、軟件、文檔等等）下載到本地磁盤或者采集結果數據庫中。

10、結果替換 - 可以將采集的結果根據規則替換成你定義的內容。

11、條件保存 - 可以根據某個條件來決定那些信息保存，那些信息過濾。

12、過濾重複內容 － 軟件可根據用戶設置和實際情況對重複內容和重複網址自動刪除重複內容。

13、特殊鏈接識別 - 運用此功能可以將用JavaScript動態生成的鏈接或其他更古怪的連接識別出來。

14、數據發布 － 可以通過自定義接口，將已采集的結果數據發布到任意的內容管理係統和指定數據庫中。現在已支持的目標發布媒體包括：數據庫(access, sql server,my sql,oracle) ，靜態htm文件。

15、預留編程接口 － 定義多個編程接口，用戶可以在事件中利用PHP,C#語言進行編程，擴充采集功能。

【火車采集器(LocoySpider)軟件優勢】

程序支持遠程下載圖片文件，支持網站登陸後的信息獲取，支持探測文件真實地址，支持代理，支持防盜鏈的采集，支持采集數據直接入庫和模仿人手工發布等許多功能特點。

火車采集器支持從任何類型的網站采集獲取您所需要的信息，如各種新聞類網站、論壇、電子商務網站、求職招聘網站等。

同時具有強大的網站登錄采集、多頁和分頁的采集、網站跨層采集、POST采集、腳本頁麵采集、動態頁麵采集等高級采集功能。

強大的php和c#插件支持，讓您可以通過二次開發實現您所想要的任何更強大的功能。

【火車采集器(LocoySpider)軟件亮點】

1、通用性強

無論新聞、論壇、視頻、黃頁、圖片、下載類網站，隻要通過瀏覽器能看到的結構化的內容，通過指定匹配規則，都能采集到您所需要的內容。

2、穩定、高效

五年磨一劍，軟件不斷更新進步，采集速度快，性能穩定，占用資源少。

3、擴展性強、適用範圍廣

自定義web發布，自定義主流的數據庫的保存和發布，自定義本地php及.net外部編程接口處理數據，讓數據都能為你所用。

【火車采集器(LocoySpider)菜單功能】

1.新建分組

新建一個任務分組，選擇所屬分組，確定分組名稱和備注。

2.新建任務

確定所屬分組，新建一個任務，填寫任務名稱並保存。

3.Web發布配置

Web發布配置定義了如何登陸一個網站以及向該網站提交數據。

主要涉及到登錄信息的獲取，網站編碼設定，欄目列表的獲取，以及使用數據測試發布效果。

4.Web發布模塊

可以定義網站登錄，獲取欄目列表，獲取網頁隨機值，內容發布參數，以及上傳文件，構造發布數據等高級功能。

5.數據庫發布配置

數據庫發布配置定義了數據庫鏈接信息的設置以及數據庫模塊的選擇。

6.數據庫發布模塊

用於編輯數據庫的發布模塊，方便我們將數據發布到配置好的數據庫中。

火車采集器可選mysql、sqlserver、oracle、access四種數據庫類型，在文本輸入框中填寫sql語句

（需有數據庫相關知識），並可使用標簽替換相應數據。也可在采集器模塊文件夾中加載某一模塊進行編輯。

7.計劃任務

設置列表中采集任務的啟動計劃，可每間隔、每天、每周、僅一次、或自定義Cron表達式，

（Cron表達式的寫法可參考相關術語中的介紹）。保存設置後，任務即可按照設置執行。

8.插件管理

插件是可以用來擴展火車采集器功能的程序

火車采集器V9支持PHP源碼、C#源碼、C#類庫三種類型的插件，

可用於擴展http請求、內容處理和文件下載的功能，並可以分別進行測試。

9.http二級代理

網絡中的服務器，可以讓網絡用戶去取得所需要的網絡信息。

代理的功能有可以突破自身ip的訪問限製訪問國外站點，訪問一些單位或團體內部資源，

突破電信的ip封鎖和隱藏真實的ip等。

火車采集器V9支持http代理、socket4和socket5代理。

10.http模擬請求

可以設置如何發起一個http請求，包括設置請求信息，返回頭信息。並具有自動提交的功能。

【更新內容】

1.新增：User-Agent支持從文本讀取並隨機切換。教程：http://faq.locoy.com/q-1348.html。

2.新增：自動識別手機號功能支持14、15、16、17、19開頭的新號段。

3.優化：文件下載完畢插件接口優化。

4.優化：探測文件下載時正式下載文件，提升下載速度。

5.修複：http請求頭“Header或設置名”以數字開頭的名稱報錯的問題修複。

6.修複：發布到word文檔，如果數據包含特殊字符或本地圖片異常會導致發布失敗問題修複。

7.修複：拷貝任務時，任務備注未拷貝問題修複。

8.修複：標簽引用支持調用“列表頁”標簽。

9.修複：json提取時如果json對象的“鍵”是整型導致提取有誤。

10.優化：網址解析替換html問題。

11.修複：get、post分頁問題處理。

12.修複：生成固定格式的數據中“係統時間”選中“06-16”生成時間格式“yyyy-MM”

13.新增：數據庫發布模塊支持replace into語句。