產品品牌：那么百度是如何做的呢?百度判斷用戶輸入是否錯誤的標準,我覺得

產品型號：那么百度是如何做的呢?百度判斷用戶輸入是否錯誤的標準,我覺得應該是查字典,如果發現字典里面不包含這個詞匯,那么很有可能是個錯誤的輸入,此時啟 動錯誤提示功能,這個很好判斷,因為如果是一個正常詞匯的話,

那么百度是如何做的呢?百度判斷用戶輸入是否錯誤的標準,我覺得應該是查字典,如果發現字典里面不包含這個詞匯,那么很有可能是個錯誤的輸入,此時啟 動錯誤提示功能,這個很好判斷,因為如果是一個正常詞匯的話,百度一般不會有錯誤提示,而你故意輸入一個詞典不可能包含的所謂詞匯,此時百度一般會提示你 正確的檢索詞匯. 

　 　那么百度是怎么提示正確詞匯的呢?很明顯是通過拼音的方式,比如我輸入查詢" 制才",百度提供的提示詞匯為: “:制裁 質材紙材",都是同 音字.所以百度必然維持著一個同音詞詞典,里面保留著同音詞信息,比如可能包含著下面這條詞條: “ zhi cai à制裁,質材,紙材",另外還有一個標注拼音程序,現在能夠看到的基本流程是: 用戶輸入" 制才",查詞典,發現沒有這個詞匯,OK,啟動標注拼音程序,將" 制才"標注為拼音"zhi cai",然后查找同音詞詞典,發現同音詞" 制裁,質材,紙材",那么提示用戶可能的正確拼寫. 

　　整體流程看起來很簡單,但是還有一些遺留的小問題,比如是否將詞表里面所有同音詞都作為用戶的提示信息呢?比如某個拼音有10個同音詞,是否都輸出呢?百度并沒有將所有同音詞都輸出而是選擇一定篩選標準,
選擇其中幾個輸出.怎么證明這一點?我們看看拼音"liu li"的同音詞,紫光輸入法提示同音詞匯有" 流麗 流離 琉璃流利"4個,我們看看百度返回幾個,輸入"流厲"作為查詢,這里是故意輸入一個詞典不包含的詞匯,這樣百度的拼寫檢查才開始工作,
百度提示: " 琉璃劉麗 劉莉 ",這說明什么?說明不是所有同音詞都輸出,而是選擇輸出,那么選擇的標準是什么?
我能夠猜測到的方法是對于用戶查詢LOG進行統計,提取用戶查詢次數多的那些同音詞輸出,如果是這樣的話,上面的例子說明用戶搜索"琉璃"次數比其它的都要高些,次之是" 劉麗",再次是" 劉莉",看來大家都喜歡查詢自己或者認識的人的名字. 

　　另外一個小問題:同音詞詞典包含2字詞,3字詞,那么是否包含4字詞以及更長的詞條?是否包含一字詞? 這里一字詞好回答,不用測試也能知道肯定不包含,因為你輸入一個字,誰知道是否是錯誤的呢?
反正只要是漢字就能在詞表里面找到,所以沒有判斷依據.二字詞是包含的,上面有例子,三字詞也包含,比如查詢 "中城藥"百度錯誤提示:"中成藥",修改查詢為"重城藥",還是提示"中成藥" ,再次修改查詢 "重城要",百度依然提示"中成藥". 那么4字詞匯呢? 

　　百度還是會給你提示的,下面是個例子: 
　　輸入:靜華煙云 提示 京華煙云 
　　輸入:靜話煙云 提示 京華煙云 
　　輸入:靜話閻暈 提示 京華煙云 

　　那么更長的詞匯是否提 示呢?也提示,比如我輸入: "落花世界有風軍",這個查詢是什么意思,估計讀過古詩的都知道,看看百度的提示"落花時節又逢君",這說明什么?說明同音詞詞典包含不同長度的同音詞信 息,另外也說明了百度的核心中文處理技術,也就是那個詞典,還真挺大的. 

　　但是,如果用戶輸入的 查詢由兩個或者兩個以上子字符串構成,那么百度的錯誤提示功能就罷工了,比如輸入查詢"哀體",百度提示"艾提 挨踢",但是.輸入為 "我 哀體 ",則沒有任何錯誤提示. 

　　還有一個比較重要的問題:如果漢字是多音字那么怎么處理?百度呢比較偷懶,它根本就沒有對多音字做處理.我們來看看百度的一個標注拼音的錯誤,在看這 個錯誤前先看看對于多音字百度是怎么提示錯誤的,我們輸入查詢"俱長",百度提示"劇場局長", “俱長"的拼音有兩個:"ju zhang /ju chang" ,可見如果是多音字則幾種情況都提示..現在我們來看看錯誤的情況, 我們輸入查詢"劇常",百度 提示":劇場局長",提示為"劇場"當然好解釋,因為是同音字,但是為什么 "局長"也會被提示呢?這說明百度的同音字詞典有錯誤,說明在"ju chang"這個詞條里面包含"局長"這個錯誤的同音詞.讓我們順藤摸瓜,這個錯誤又說明什么問題呢?

說明百度的同音詞典是自動生成的,而且沒有人工校對.還說明在自動生成同音詞典的過程中,百度不是根據對一篇文章標注拼音然后在抽取詞匯和對應的拼音信息獲得的,而是完全按照某個詞典的詞條來標注音節的,
所以對于多音字造成的錯誤無法識別出來,如果是對篇章進行拼音標注,可能就不會出現這種很容易發現的錯誤標注. 當然還有另外一種解釋,就是"局長"是故意被百度提示出來可能的正確提示詞匯,因為考慮到南方人"zh"和 "ch"等前后鼻音分不清么,那么是這樣的么?我們繼續測試到底是何種情況.是百度有錯誤還是這是百度的先進的算法? 

　　我們考慮詞匯"長大 ",故意錯誤輸入為"贓大",如果百度考慮到了前后鼻音的問題,那么應該會提示"長大",但是百度提示是"藏大".這說明什么?說明百度并沒有考慮前后鼻音問題,根本就是系統錯 誤. 我們輸入查詢"懸賞",故意將之錯誤輸入為"懸桑",沒有錯誤提示,說明確實沒有考慮這種情況.前鼻音沒有考慮,那么后鼻音考慮了么,我們輸入":經常 ",故意改為后鼻音 "經纏",百度提示為"經產 經懺",還是沒有考慮后鼻音.這基本可以確定是百度系統的錯誤導致. 

　　根據以 上推導, 我們可以得出如下結論:百度是將分詞詞典里面每個詞條利用拼音標注程序標注成拼音,然后形成同音詞詞典,所以兩個詞典是同樣大的 ,而且這個詞典也隨著分詞詞典的增長而在不斷增長. 至于標注過程中多音字百度沒有考慮,如果是多音字就標注成多個發音組合,通過這種方式形成同音詞詞典.這樣的同音詞詞典顯然包含著很多錯誤. 

　最后一個問題:百度對于英文進行拼寫檢查么?讓我們試試看,輸入查詢"china",不錯,搜到不少結果,專注中文搜索的百度還能搜索到英文,真是意外的驚喜.變換一下查詢"chine",會更加意外驚喜的給我們提示"china"嗎?
百度提示的是: 吃呢持呢,原來是不小心觸發了百度的拼音搜索功能了.那么拼音搜索和中文檢查錯誤是否采用同一套同音詞詞典呢,讓我們來實驗一下,搜索"rongji",
百度提示" 榕基 溶劑 容積",OK,換個中文查詢"容機",
百度提示" 榕基溶劑容積",看來使用的是同一套同音詞詞典.也就是說百度的中文糾錯和拼音檢索使用的機制相同,中文糾錯多了一道拼音注音的過程而已.難道這就是傳說中那個百度的"事實上是一個無比強大的拼音輸入法"的拼音提示功能么? 
　　最后讓我們總結歸納一下百度的拼寫檢查系統: 
　　后臺作業: (1)前面的文章我們說過,百度分詞使用的詞典至少包含兩個詞典一個是普通詞典,另外一個是專用詞典(專名等),百度利用拼音標注程序依次掃描所有詞典中的每個詞條,然后標注拼音,如果是多音字則把多個音都標上,比如"長大",會被標注為"zhang da/chang da"兩個詞條. 
　　(2)通過標注完的 詞條,建立同音詞詞典,比如上面的"長大",會有兩個詞條: zhang daà長大" , chang daà長大. 
　　(3)利用用戶查詢LOG頻率信息給予每個 中文詞條一個權重; 
　　(4)OK,同音詞詞典建立完成了,當然隨著分詞詞典的逐步擴大,同音詞詞典也跟著同步擴大; 
　　 
　　拼寫 檢查: 
　　(1)用戶輸入查詢,如果是多個子字符串,不作拼寫檢查; 
　　(2)對于用戶查詢,先查分詞詞典,如果發現有這個單詞詞條,OK, 不作拼寫檢查; 
　　(3)如果發現詞典里面不包含用戶查詢,啟動拼寫檢查系統;首先利用拼音標注程序對用戶輸入進行拼音標注; 
　　 (4)對于標注好的拼音在同音詞詞典里面掃描,如果沒有發現則不作任何提示; 
　　(5)如果發現有詞條,則按照順序輸出權重比較大的幾個提示結果; 
　　 
　　拼音提示: 
　　(1)對于用戶輸入的拼音在同音詞詞典里面掃描,如果沒有發現則不作任何提示; 
　　(2)如果 發現有詞條,則按照順序輸出權重比較大的幾個提示結果; 

上面說過,經過分析得出百度的分詞系統采用雙向最大匹配分詞,但是后來發現推理過程中存在一個漏洞,而且推導出來的百度分詞算法步驟還是過于繁瑣,所以進一步進行分析,看看是否前面的推導有錯誤. 

那么以前的分析有什么漏洞呢?
我們推導百度分詞有反向最大匹配的依據是百度將"北京華煙云"分詞為<北,京華煙云>,從這里看好像采用了反向最大匹配,因為正向最大匹配的 結果應該是<北京,華,煙云>,但是由此就推論說百度采用了雙向最大匹配還是太倉促了,前面文章我們也講過,百度有兩個詞典,一個普通詞典, 一個專有詞典,而且是專有詞典的詞匯先切分,然后將剩余片斷交給普通詞典去切分.所以上面的"北京華煙云"之所以被切分成<北,京華煙云>, 另外一個可能是:京華煙云這個詞匯是在專有詞典里面存儲的,所以先分析,這樣得出"京華煙云",剩下"北",沒什么好切分的,所以輸出<北,京華煙云>. 

這里只是假設,那么是否確實"京華煙云"在專有詞典呢?我們再看一個例子"山東北京華煙云",百度切分的結果是<山東,北,京華煙云 >,如果"京華煙云"在普通詞典,如果是反向切分,那么結果應該是<山,東北,京華煙云>,如果是正向切分應該是<山東,北京, 華,煙云>,無論如何都分不出<山東,北,京華煙云>.這說明什么?
說明"京華煙云"是在那個專有詞典,所以先切分出"京華煙云",然后剩下的"山東北"交由普通詞典切分,明顯是正向最大匹配的結果輸出<山東,北 >.當然按照我們在第一篇文章的算法推導"山東北"的切分也會得出<山東,北>的結論,但是明顯比正向最大匹配多幾個判斷步驟,既然效 果一樣,另外一個更加簡潔的方法也能說得通,那當然選擇簡便的方法了.所以初步判斷百度采取的是正向最大匹配. 

我們繼續測試采用何種分詞算法,為了減少專有詞典首先分詞造成的影響,那么查詢里面不能出現相對特殊的詞匯,構筑查詢"天才能量級",這里應該沒有專有詞 典出現過的詞匯,百度切分為<天才,能量,級>,看來是正向最大匹配的結果.另外,如果所有查詢詞匯都出現在專有詞典,那么采取的是何種方 法?這樣首先就得保證詞匯都出現在專有詞典,這么保證這一點呢?

我們構造查詢"鋪陳曉東方",百度切分為<鋪,陳曉東,方>,可以看出 "陳曉東"是在專有詞典的所以先切分出來.另外一個例子 "山東京城",百度切分為<山東,京城>,說明"東京"是在普通詞典的.OK,構造查詢"陳曉東京華煙云",通過前面分析可以看出兩個詞匯都 在專有詞典里面,百度切分為<陳曉東,京華煙云>,說明對于專有詞典詞匯也是采取正向最大匹配或者雙向最大匹配.那么使用反向最大匹配了嗎? 構造查詢例子"陳曉東方不敗",首先我們肯定"陳曉東"和"東方不敗"都是在專有詞典出現的,如果是正向切分,那么應該是<陳曉東,方,不敗 >或者<陳曉東,方,不,敗>如果是反向切分則是<陳,曉,東方不敗>,可以看出百度的切分是<陳曉東,方,不敗 >或者<陳曉東,方,不,敗>,說明采用的是正向最大匹配.通過分析,百度的詞典不包含"不敗"這個單詞,所以實際上百度的切分結果是 <陳曉東,方,不,敗>,很明顯這和我們以前推導的算法是有矛盾的,所以以前的分析算法確實有問題,所以結論是百度采取的是正向最大匹配算 法. 

重新歸納一下百度的分詞算法系統:首先用專有詞典采用最大正向匹配分詞,切分出部分結果,剩余沒有切分交給普通詞典,同樣采取正向最大匹配分詞,最后輸出結果. 

另外,GOOGLE也是采用正向最大匹配分詞算法,不過好像沒有那個專用詞典,所以很多專名都被切碎了. 

從這點講,GOOGLE在中文詞典構建上比百度差些,還需要加把子力氣才行,不過這也不是什么多難的事.