『壹』 數據挖掘的演算法及技術的應用的研究論文
數據挖掘的演算法及技術的應用的研究論文
摘要: 數據挖掘是從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用數據中發現隱含的、規律性的、人們事先未知的, 但又是潛在有用的並且最終可被理解的信息和知識的非平凡過程。任何有數據管理和知識發現需求的地方都可以藉助數據挖掘技術來解決問題。本文對數據挖掘的演算法以及數據挖掘技術的應用展開研究, 論文對數據挖掘技術的應用做了有益的研究。
關鍵詞: 數據挖掘; 技術; 應用;
引言: 數據挖掘技術是人們長期對資料庫技術進行研究和開發的結果。起初各種商業數據是存儲在計算機的資料庫中的, 然後發展到可對資料庫進行查詢和訪問, 進而發展到對資料庫的即時遍歷。數據挖掘使資料庫技術進入了一個更高級的階段, 它不僅能對過去的數據進行查詢和遍歷, 並且能夠找出過去數據之間的潛在聯系, 從而促進信息的傳遞。
一、數據挖掘概述
數據挖掘是從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用數據中發現隱含的、規律性的、人們事先未知的, 但又是潛在有用的並且最終可被理解的信息和知識的非平凡過程。
二、數據挖掘的基本過程
(1) 數據選擇:選擇與目標相關的數據進行數據挖掘。根據不同的數據挖掘目標, 對數據進行處理, 不僅可以排除不必要的數據干擾, 還可以極大地提高數據挖掘的效率。 (2) 數據預處理:主要進行數據清理、數據集成和變換、數據歸約、離散化和概念分層生成。 (3) 模式發現:從數據中發現用戶感興趣的模式的過程.是知識發現的主要的處理過程。 (4) 模式評估:通過某種度量得出真正代表知識的模式。一般來說企業進行數據挖掘主要遵循以下流程——准備數據, 即收集數據並進行積累, 此時企業就需要知道其所需要的是什麼樣的數據, 並通過分類、編輯、清洗、預處理得到客觀明確的目標數據。數據挖掘這是最為關鍵的步驟, 主要是針對預處理後的數據進行進一步的挖掘, 取得更加客觀准確的數據, 方能引入決策之中, 不同的企業可能採取的數據挖掘技術不同, 但在當前來看暫時脫離不了上述的挖掘方法。當然隨著技術的進步, 大數據必定會進一步成為企業的立身之本, 在當前已經在很多領域得以應用。如市場營銷, 這是數據挖掘應用最早的領域, 旨在挖掘用戶消費習慣, 分析用戶消費特徵進而進行精準營銷。就以令人深惡痛絕的彈窗廣告來說, 當消費者有網購習慣並在網路上搜索喜愛的產品, 當再一次進行搜索時, 就會彈出很多針對消費者消費習慣的商品。
三、數據挖掘方法
1、聚集發現。
聚集是把整個資料庫分成不同的群組。它的目的是要群與群之間差別很明顯.而同一個群之間的數據盡量相似.聚集在電子商務上的典型應用是幫助市場分析人員從客戶基本庫中發現不同的客戶群, 並且用購買模式來刻畫不同客戶群的特徵。此外聚類分析可以作為其它演算法 (如特徵和分類等) 的預處理步驟, 這些演算法再在生成的簇上進行處理。與分類不同, 在開始聚集之前你不知道要把數據分成幾組, 也不知道怎麼分 (依照哪幾個變數) .因此在聚集之後要有一個對業務很熟悉的人來解釋這樣分群的意義。很多情況下一次聚集你得到的分群對你的業務來說可能並不好, 這時你需要刪除或增加變數以影響分群的方式, 經過幾次反復之後才能最終得到一個理想的結果.聚類方法主要有兩類, 包括統計方法和神經網路方法.自組織神經網路方法和K-均值是比較常用的`聚集演算法。
2、決策樹。
這在解決歸類與預測上能力極強, 通過一系列的問題組成法則並表達出來, 然後經過不斷詢問問題導出所需的結果。典型的決策樹頂端是一個樹根, 底部擁有許多樹葉, 記錄分解成不同的子集, 每個子集可能包含一個簡單法則。
四、數據挖掘的應用領域
4.1市場營銷
市場銷售數據採掘在銷售業上的應用可分為兩類:資料庫銷售和籃子數據分析。前者的任務是通過互動式查詢、數據分割和模型預測等方法來選擇潛在的顧客以便向它們推銷產品, 而不是像以前那樣盲目地選擇顧客推銷;後者的任務是分析市場銷售數據以識別顧客的購買行為模式, 從而幫助確定商店貨架的布局排放以促銷某些商品。
4.2金融投資
典型的金融分析領域有投資評估和股票交易市場預測, 分析方法一般採用模型預測法。這方面的系統有Fidelity Stock Selector, LBS Capital Management。前者的任務是使用神經網路模型選擇投資, 後者則使用了專家系統、神經網路和基因演算法技術輔助管理多達6億美元的有價證券。
結論:數據挖掘是一種新興的智能信息處理技術。隨著相關信息技術的迅猛發展, 數據挖掘的應用領域不斷地拓寬和深入, 特別是在電信、軍事、生物工程和商業智能等方面的應用將成為新的研究熱點。同時, 數據挖掘應用也面臨著許多技術上的挑戰, 如何對復雜類型的數據進行挖掘, 數據挖掘與資料庫、數據倉庫和Web技術等技術的集成問題, 以及數據挖掘的可視化和數據質量等問題都有待於進一步研究和探索。
參考文獻
[1]孟強, 李海晨.Web數據挖掘技術及應用研究[J].電腦與信息技術, 2017, 25 (1) :59-62.
[2]高海峰.智能交通系統中數據挖掘技術的應用研究[J].數字技術與應用, 2016 (5) :108-108.
;『貳』 什麼是數據挖掘
數據挖掘是從大量的、不完全的、有雜訊的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。
數據挖掘流程:
定義問題:清晰地定義出業務問題,確定數據挖掘的目的。
數據准備:數據准備包括:選擇數據–在大型資料庫和數據倉庫目標中 提取數據挖掘的目標數據集;數據預處理–進行數據再加工,包括檢查數據的完整性及數據的一致性、去雜訊,填補丟失的域,刪除無效數據等。
數據挖掘:根據數據功能的類型和和數據的特點選擇相應的演算法,在凈化和轉換過的數據集上進行數據挖掘。
結果分析:對數據挖掘的結果進行解釋和評價,轉換成為能夠最終被用戶理解的知識。
『叄』 關於電子商務與物流的關系的論點可以什麼寫
【摘要】電子商務和物流作為現代流通的兩大手段,
相互之間有著密切的聯系。文章介紹了國內外電子商務中物流的形式、第三方物流的使用和管理方式以及物流配送中心選擇應用中的一些方法。
【關鍵詞】電子商務; 第三方物流; 配送中心
第三方物流(簡稱3PL或TPL)是指生產經營企業為集中精力搞好企業,把原來屬於自己處理的物流活動,以合同方式轉給專業物流服務企業。是由物流勞務的供應方、需求方之外的第三方去完成物流服務的物流專業化運作方式。第三方物流提供者在特定的時間段內按照特定的價格向使用者提供個性化的系列服務,這種物流是建立在現代電子商務信息基礎之上的,企業之間是聯盟關系。電子商務作為網路經濟的核心必須以物流管理為基礎。電子商務活動中任何一筆交易,都是由四種基本的「流」,即信息流、商流、資金流、物流所組成。物流過程具體包括運輸、儲存、配送、保管、物流信息管理等各種活動。電子商務通過網路准確及時監控物流的運動。當前制約電子商務發展的主要瓶頸是物流管理滯後,主要表現在物流的支付系統、配送系統和安全系統三個方面。電子商務推動下的物流管理是以物流信息化為基礎的,這種新型的物流配送使商品流轉較傳統方式更加信息化、自動化、現代化和社會化,既減少庫存和資金積壓,又降低了物流成本,提高了經濟效益和社會效益。電子商務為物流企業提供了技術條件和市場環境,為物流功能集成和物流企業實現規模化經營創造了有利的條件。因而分析電子商務支持下的企業物流特點,以及建立宏觀和微觀雙控型的電子商務物流管理模式,就成為企業面對現代市場競爭的必然選擇。
一、國內外電子商務中的物流分為兩種形式
( 一) 自營物流
即電子商務網站自己組織物流配送中心為顧客服務。優點是便於控制,容易兌現對顧客的配送中心。從本質上講,信息業務和物流業務是兩個完全不同的業務,這不符合專業化和橫向一體化的趨勢。因此電子商務網站經營成本高,有的時候物流成本將遠高於產品本身的價值,而這個成本只能由消費者負擔。
( 二) 使用第三方物流
即電子商務網站使用第三方物流為顧客配送商品。使用第三方物流的電子商務業務被分成三塊:信息業務由自己完成、物流配送中「配」的業務由企業內部完成、「送」的業務由專業物流公司完成。這種模式突出了自己的優勢,避去了自己的劣勢,使企業的效益大增,經營成本降低。國內外對物流配送問題的研究主要集中在:車輛運輸規劃、物流設施定位和車輛運輸路徑規劃(LRP
問題)、對物流的管理和使用方法等問題的研究。
( 三) 電子商務活動包含著四種基本的「流」,
即信息流、商流、資金流和物流電子商務交易過程的實現,都需要這「四流」的協調和整合。信息流自始至終貫穿著整個交易過程,它提供包括諸如商品和服務的信息、促銷行銷的信息、售後服務以及交易等方面的信息:商流是指商品在購、銷之間進行交易和商品所
有權轉移的過程:資金流主要是指交易資金的轉移過程,具體包括付款、轉帳和結帳等過程,它涉及到整個交易的安全程度。而物流,作為電子商務實現過程中必不可少的實物流通環節,直接服務於最終顧客,物流服務水平的高低決定了顧客的滿意程度,同時也決定了電子商務能否成功實現。
( 四) 電子商務按照顧客類別劃分為兩種, 一類是企業與企業之間稱B2B 的商務交易: 一類是企業與消費者稱B2C 之間的商務交易
電子商務在B2B
中有著很好的應用,它的實施加快了信息傳遞的速度,降低庫存,加強供應鏈,更由於大批量的貨物運輸,使得物流配送能比以往成本更低的實施。在B2C商務模式中參與交易的商品一般由實體商品和數字商品兩大類構成。數字商品中,又分為可下載和不可下載商品。除了可以通過Internet
直接傳送的數字商品,如軟體產品、電子出版物,其他商品和傳統商務一樣都需要實體物流處理,物流處理能力已成為BToC 電子商務的核心競爭優勢。
二、國內外第三方物流的使用和管理集中在對供應鏈中的物流進行計劃和管理第三方物流是由物流勞務的供應方、需求方之外的第三方去完成物流服務的專業化運作方式。具有如下主要特徵:
第一、第三方物流是建立在現代電子信息技術基礎上的;
第二、第三方物流是合同導向的一系列服務;
第三、第三方物流提供個性化服務;
第四、企業之間是聯盟關系。對第三方物流的使用和管理應著重作好以下幾方面的
管理工作:
( 一) 合同管理
無論第三方物流承接的是何種項目,必須做好物流合同的管理工作。一般可以根據合同生命周期的不同階段來進行管理。即建立合同、合同修改與中止、合同執行及跟蹤。第三方物流與電子商務中心簽訂的服務合同中應包括如下內容:購買物流服務方和銷售物流服務方的公司名稱,物流服務內容,物流服務時間(合同起止時間),設計物品數量,服務收費,付款方式及時間,服務要求(質量要求、驗收方法等),服務方法(工具、交貨方式),違約經濟責任及處理方法等。
( 二) 能力管理
對於電子商務網站來說,最為關心的就是第三方物流的配送能力,它包括第三方物流的運輸、裝卸和設備能力,電子商務網站對第三方物流的選擇很大程度上是基於第三方物流配送能力的。
( 三)
信息管物流供應鏈的運動離不開信息的傳遞與反饋,第三方物流必須實施良好的信息管理。主要包括企業信息系統建設及日常信息的接收、存儲、處理、發送等。
( 四) 使用第三方物流的電子商務網站對按時送貨的保障為: 對第三方物流中心的運力計劃和管理,
保證安排送貨的運力和時間國內外對運力計劃和管理的研究主要集中在:
第一、第三方物流的內部運輸規劃。對第三方物流運輸管理的關鍵是對各種貨物進行運輸需求整合及運輸路線優化。在不影響運輸質量前提下進行並車混裝,達到整合的目的,實現規模經濟。
第二、在供應鏈中將第三方物流作為一個整體應用。供應鏈在使用第三方物流時不考慮其內部運輸規劃問題,僅根據企業外部和內部供應鏈的運作情況以及生產作業安排選用第三方物流。這方面的研究以生產作業計劃為核心問題,以第三方物流能夠滿足運力和時間要求為假設條件。第三方物流中心主要向企業提供運輸服務。這種運輸服務相對於傳統運輸而言,第三方物流企業向電子商務網站提供的是一種集成運輸模式。這種集成運輸模式採用多式聯運,實現對顧客的門到門的服務,作業活動復雜,影響運輸成本及運輸質量的因素眾多,因此成為研究的難點和熱點,這些研究主要集中在車輛規劃問題上。
( 五) 多點車輛運輸問題VRP(Vehicle Routing
Problem)是指運輸車輛從一個或多個設施到多個地理上分散的客戶點,優化設計一套貨物流動的運輸路線,同時要滿足一系列的線性規劃法。線性規劃法(LinearProgramming,簡記LP),主要用於研究解決有限資源的最佳分配問題。將問題的一系列條件設置為問題的約束,將問題想要得到的結果設置為目標函數,此法具有適應性強,計算技術較簡單等特點。約束條件:其前提條件為設施位置、客戶點位置和道路情況己知,由此確定一套車輛運輸路線,以滿足目標函數。利用線性規劃求出多點運輸中點與點的路徑最小,在VRP
問題中,考慮車輛在各個客戶點間巡迴訪問的特性,提高了運輸效率,與實際情形相吻合。在實際的應用中,由於受到運輸車輛本身能力的限制,需要根據各個客戶的需求量,道路情況來確定路徑行程以達到配送費用最低的目標。
三、物流配送中心選擇應用中的其它方法
( 一)Hopfield 人T 神經網路基於物流配送線路的實際情況,應用Hopfield
網路求解要求把目標函數轉化成能量函數,把問題的變數對應於網路的狀態。當網路的能量函數收斂於極小值時,問題的最優解也隨之求出。首先將問題映射到一個神經網路,將問題的目標轉化為能量函數,並將問題的變數對應於網路的狀態,確定網路神經元之間的連接權及神經元輸出的閥值,最後優化計算。
( 二) 模糊聚類方法
由於物流配送中心選擇問題本身具有很多的條件,就利用模糊聚類方法,按照根據距離坐標、時間以及產品種類為分類標准,形成模糊聚矩陣,即用模糊綜合評判將從待選的點中找出最接近選擇問題的目標的點,再利用線性規劃求解。
( 三) 規劃方法
將物流配送中心選擇問題經過簡化處理後,在待選的幾個物流中心共同輻射的范圍內需配送點的數目,評估各物流中心往各目的地配送的單位。然後,依次從目的地中每次取與物流配送中心相同數目的目的地進行分步確定配送方案,直至將其全部分配完,每一次都是一個指派問題。
四、電子商務訂單的實時處理與第三方物流選擇電子商務訂單的實時處理過程中第三方物流選擇問題,要求在滿足在線訂單實時處理的前提下,根據以往訂單的接收情況和配送能力情況來選擇第三方物流中心。
1.提出了一種模擬人類思維的第三方物流中心選擇的處理原理,將這一復雜的多目標問題進行分解,設計對第三方物流中心進行優選排序的推理規則,從人類處理的角度出發,提高第三方物流選擇的實時性和智能性。
2.針對第三方物流中心配送能力的動態變化情況,設計時間一能力表示方法,在時間一能力數組的基礎上設計兩個物流中心組合的二維數組和多物流中心的組合樹,利用二維數組和組合樹的特點,設計對兩個到多個第三方物流中心組合的搜索方法。
3.開發相應的計算機軟體系統,為解決電子商務物流實時安排這一難題提供一種可用的工具和手段,有利於提高物流供應鏈的運動離不開信息的傳遞與反饋,第三方物流必須實施良好的信息管理。主要包括企業信息系統建設及日常信息的接收、存儲、處理、發送等。
( 四) 使用第三方物流的電子商務網站對按時送貨的保障為: 對第三方物流中心的運力計劃和管理,
保證安排送貨的運力和時間國內外對運力計劃和管理的研究主要集中在:
第一、第三方物流的內部運輸規劃。對第三方物流運輸管理的關鍵是對各種貨物進行運輸需求整合及運輸路線優化。在不影響運輸質量前提下進行並車混裝,達到整合的目的,實現規模經濟。
第二、在供應鏈中將第三方物流作為一個整體應用。供應鏈在使用第三方物流時不考慮其內部運輸規劃問題,僅根據企業外部和內部供應鏈的運作情況以及生產作業安排選用第三方物流。這方面的研究以生產作業計劃為核心問題,以第三方物流能夠滿足運力和時間要求為假設條件。
第三方物流中心主要向企業提供運輸服務。這種運輸服務相對於傳統運輸而言,第三方物流企業向電子商務網站提供的是一種集成運輸模式。這種集成運輸模式採用多式聯運,實現對顧客的門到門的服務,作業活動復雜,影響運輸成本及運輸質量的因素眾多,因此成為研究的難點和熱點,這些研究主要集中在車輛規劃問題上。
( 五) 多點車輛運輸問題VRP(Vehicle Routing
Problem)是指運輸車輛從一個或多個設施到多個地理上分散的客戶點,優化設計一套貨物流動的運輸路線,同時要滿足一系列的線性規劃法。線性規劃法(Linear
Programming,簡記LP),主要用於研究解決有限資源的最佳分配問題。將問題的一系列條件設置為問題的約束,將問題想要得到的結果設置為目標函數,此法具有適應性強,計算技術較簡單等特點。約束條件:其前提條件為設施位置、客戶點位置和道路情況己知,由此確定一套車輛運輸路線,以滿足目標函數。利用線性規劃求出多點運輸中點與點的路徑最小,在VRP
問題中,考慮車輛在各個客戶點間巡迴訪問的特性,提高了運輸效率,與實際情形相吻合。在實際的應用中,由於受到運輸車輛本身能力的限制,需要根據各個客戶的需求量,道路情況來確定路徑行程以達到配送費用最低的目標。
三、物流配送中心選擇應用中的其它方法
( 一)Hopfield 人T 神經網路基於物流配送線路的實際情況,應用Hopfield
網路求解要求把目標函數轉化成能量函數,把問題的變數對應於網路的狀態。當網路的能量函數收斂於極小值時,問題的最優解也隨之求出。首先將問題映射到一個神經網路,將問題的目標轉化為能量函數,並將問題的變數對應於網路的狀態,確定網路神經元之間的連接權及神經元輸出的閥值,最後優化計算。
( 二) 模糊聚類方法
由於物流配送中心選擇問題本身具有很多的條件,就利用模糊聚類方法,按照根據距離坐標、時間以及產品種類為分類標准,形成模糊聚矩陣,即用模糊綜合評判將從待選的點中找出最接近選擇問題的目標的點,再利用線性規劃求解。
( 三) 規劃方法
將物流配送中心選擇問題經過簡化處理後,在待選的幾個物流中心共同輻射的范圍內需配送點的數目,評估各物流中心往各目的地配送的單位。然後,依次從目的地中每次取與物流配送中心相同數目的目的地進行分步確定配送方案,直至將其全部分配完,每一次都是一個指派問題。
四、電子商務訂單的實時處理與第三方物流選擇電子商務訂單的實時處理過程中第三方物流選擇問題,要求在滿足在線訂單實時處理的前提下,根據以往訂單的接收情況和配送能力情況來選擇第三方物流中心。
1.提出了一種模擬人類思維的第三方物流中心選擇的處理原理,將這一復雜的多目標問題進行分解,設計對第三方物流中心進行優選排序的推理規則,從人類處理的角度出發,提高第三方物流選擇的實時性和智能性。
2.針對第三方物流中心配送能力的動態變化情況,設計時間一能力表示方法,在時間一能力數組的基礎上設計兩個物流中心組合的二維數組和多物流中心的組合樹,利用二維數組和組合樹的特點,設計對兩個到多個第三方物流中心組合的搜索方法。
3.開發相應的計算機軟體系統,為解決電子商務物流實時安排這一難題提供一種可用的工具和手段,有利於提高子商務訂單處理的自動化、智能化和科學化水平。基於時間一能力數組的電子商務第三方物流中心選擇方法,其原理對於解決排序問題(Scheling)具有一定的普遍適用性。
四、完善電子商務物流管理的相關法規
聯合國國際貿易委員會於1996年通過《電子商務示範法》,主要包括「電子合同法規」,「電子商務稅收法規」,「電子商務物流管理法規」。我國目前還沒有一部完整的電子商務物流管理法規,相關法規的建立是物流產業發展的基礎。我們需要建立符合我國國情的中國物流法規,即包括「法律法規」,「行政法規」和「部門法規」的中國電子商務物流管理法規,以推動我國物流產業健康、快速發展,盡快使我國物流業適應中國入世後國民經濟發展的需要。
建立和完善電子商務物流管理的相關法規,對物流主體的資格和權益進行規范,制定了物流活動的行為規范,保障了國家對物流運行的干預和監督。目前,中國物流法規基本內容可分為三類:
(1)法律。 包括《中華人民共和國海商法》、《中華人民共和國鐵路法》等。
(2)行政法規。包括《公路貨物運輸合同實施細則》、《水路貨物運輸合同實施細則》、《鐵路貨物運輸合同實施細則》、《航空貨物運輸合同實施細則》、《關於進一步發展國內集裝箱運輸的通知》等。
(3)部分規章。包括《關於商品包裝的規定》、《國家物資儲備局管理辦法》、《鐵路貨物運輸規程》、《公路運輸管理條例》、《中華人民共和國海上國際集裝箱運輸管理規定》、《危險貨物運輸規則》等。
通過實施以上電子商務與物流管理的新模式,必將推動我國經濟在加入WTO以後實現跨越式發展。
五、結語
電子商務和物流作為現代流通的兩大手段,相互之間有著密切的聯系。電子商務與物流的之間存在著「虛實相應」的關系,物流業地位將大大提高,供應鏈將短路化,第三方物流將成為電子商務環境下物流企業的主要形式,采購將更方便,價格將更低,成為商流、信息流與物流的匯集中心,庫存集中化得到實現,運輸被劃分為一次運輸與二次運輸,更方便的「多式聯運服務」被廣泛提供,開環流動的信息成為物流作業的主要依據。但是,電子商務必須有現代化的物流技術的支持,才能體現出其所具有的無可比擬的先進性和優越性,在最大程度上使交易雙方得到便利,獲得效益。