《第四章 數(shù)字文本與文本處理》由會(huì)員分享,可在線閱讀,更多相關(guān)《第四章 數(shù)字文本與文本處理(7頁(yè)珍藏版)》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、第三章第三章第三章第三章數(shù)字文本與文本處理數(shù)字文本與文本處理數(shù)字文本與文本處理數(shù)字文本與文本處理第一節(jié) 字符編碼 在計(jì)算機(jī)中,英文采用ASCII碼 英文l 文字的編碼中文1.漢字的輸入編碼 數(shù)字編碼:用數(shù)字代表漢字字符,電報(bào)碼、區(qū)位碼都屬于數(shù)字編碼 字音編碼:指按照漢字的標(biāo)準(zhǔn)化讀音,使用拼音作為漢字的編碼的方法 字形編碼:是指用漢字的形狀表示的編碼方式。這種編碼方式將漢字依筆劃、偏旁、部首用數(shù)字或字母編碼,然后根據(jù)其組成方式依次輸入 形音編碼:將漢字字音與字型相互結(jié)合的一種編碼方法如全息碼就是一種音形編碼。l 文字的編碼22.漢字的機(jī)內(nèi)編碼 漢字的機(jī)內(nèi)編碼是用于漢字信息的存儲(chǔ)、交換、檢索等操作
2、的機(jī)內(nèi)代碼,一般采用兩個(gè)字節(jié)表示。漢字交換碼:指在不同漢字信息處理系統(tǒng)之間進(jìn)行漢字交換時(shí)使用的編碼。漢字交換碼也稱(chēng)漢字國(guó)標(biāo)碼GB2312 3.漢字的輸出編碼用點(diǎn)陣表示的漢字字形代碼,漢字的輸出形式。漢字區(qū)位碼:國(guó)標(biāo)字符集構(gòu)成一個(gè)二維平面,它分成94行、94列,行號(hào)稱(chēng)為區(qū)號(hào),列號(hào)稱(chēng)為位號(hào)。每一個(gè)漢字或符號(hào)在碼表中都有各自的位置,字符的位置用它所在的區(qū)號(hào)(行號(hào))及位號(hào)(列號(hào))來(lái)表示。漢字的輸入編碼、漢字內(nèi)碼、字模碼是漢字的輸入編碼、漢字內(nèi)碼、字模碼是計(jì)算機(jī)中用于輸入、內(nèi)部處理、輸出三計(jì)算機(jī)中用于輸入、內(nèi)部處理、輸出三種不同用途的編碼,不要混為一類(lèi)。種不同用途的編碼,不要混為一類(lèi)。3 OCR(Opt
3、ical Character Recognition 光學(xué)符號(hào)光學(xué)符號(hào)識(shí)別),是指將一份文字稿件以圖像形式輸入給計(jì)算機(jī),識(shí)別),是指將一份文字稿件以圖像形式輸入給計(jì)算機(jī),計(jì)算機(jī)取出每個(gè)文字的圖像,再將其轉(zhuǎn)換成漢字的編碼計(jì)算機(jī)取出每個(gè)文字的圖像,再將其轉(zhuǎn)換成漢字的編碼存入計(jì)算機(jī),以達(dá)到漢字輸入的目的。存入計(jì)算機(jī),以達(dá)到漢字輸入的目的。OCR技術(shù)解決的技術(shù)解決的是已存在于紙介質(zhì)上的文字如何被計(jì)算機(jī)識(shí)別并接收的是已存在于紙介質(zhì)上的文字如何被計(jì)算機(jī)識(shí)別并接收的問(wèn)題。由于是對(duì)掃描后的圖像文件進(jìn)行識(shí)別處理,所以問(wèn)題。由于是對(duì)掃描后的圖像文件進(jìn)行識(shí)別處理,所以稱(chēng)為脫機(jī)漢字識(shí)別系統(tǒng)。稱(chēng)為脫機(jī)漢字識(shí)別系統(tǒng)。第二
4、節(jié) 文本輸入技術(shù)文文本本輸輸入入手寫(xiě)識(shí)別手寫(xiě)識(shí)別 語(yǔ)音識(shí)別語(yǔ)音識(shí)別光學(xué)字符識(shí)別光學(xué)字符識(shí)別(OCR技術(shù))技術(shù))鍵盤(pán)輸入鍵盤(pán)輸入非鍵盤(pán)輸入非鍵盤(pán)輸入4第三節(jié) 文本編輯與處理l 文本編輯 文本編輯的主要功能 對(duì)字、詞、句、段落進(jìn)行添加、刪除、修改等操作 字的處理:設(shè)置字體、字號(hào)、字的排列方向、間距、顏色、效果等 段落的處理:設(shè)置行距、段間距、段縮進(jìn)、對(duì)稱(chēng)方式等 頁(yè)面布局的處理:設(shè)置頁(yè)邊距、每頁(yè)行列數(shù)、分欄、頁(yè)眉、頁(yè)腳等 “所見(jiàn)即所得”(What You See Is What You Get,簡(jiǎn)稱(chēng) WYSIWYG):一方面所有的編輯操作效果立即可以在屏 幕上看到,另一方面在屏幕上看到的效果與打印機(jī)的輸出 結(jié)果相同。5l 文本處理 文本處理的內(nèi)容 字?jǐn)?shù)統(tǒng)計(jì),字頻統(tǒng)計(jì),簡(jiǎn)/繁體相互轉(zhuǎn)換,漢字/拼音相互轉(zhuǎn)換 詞語(yǔ)排序,詞語(yǔ)錯(cuò)誤檢測(cè),文句語(yǔ)法檢查 自動(dòng)分詞,詞頻統(tǒng)計(jì),詞性標(biāo)注,詞義辨識(shí),大陸/臺(tái)灣術(shù)語(yǔ)轉(zhuǎn)換 文本壓縮,文本加密,文本著作權(quán)保護(hù) 關(guān)鍵詞提取,文摘自動(dòng)生成,文本分類(lèi) 文本檢索(關(guān)鍵詞檢索、全文檢索),文本過(guò)濾 文語(yǔ)轉(zhuǎn)換(語(yǔ)音合成),文種轉(zhuǎn)換(機(jī)器翻譯)篇章理解,自動(dòng)問(wèn)答,自動(dòng)寫(xiě)作等 文本處理軟件6謝謝 謝!謝!