跳到主要內容

Python MySQLdb SQL裡含有特殊字元的處理


在文本的處理中，無論是網路上抓取的資料，還是由實際資料轉換而來的文本，已結構化處理的資料我都習慣放至資料庫中儲存和管理。一直以來都很習慣的使用 PHP 語言來做資料的整理和處理，一方面是因爲最熟悉這個語言，一方面是 PHP 也可以很容易的做成網頁來呈現結果。

而有些近來處理的資料，需要經過中文斷詞（中文分詞）的處理，雖然 PHP 已有人發展出 SCWS 中文分詞工具，主要運用在 GBK 和 UTF-8 上，對於繁體中文的斷詞目前則不如其他工具來的好用。也因此我最近選擇了 Python 作爲文本處理的主要語言，使用 JieBa 這套斷詞工具（斷詞的細節在這裡我就不多琢磨）。以往 PHP 操作 MySQL 的方式現在要改成 Python 了，也還好 python 有 MySQLdb Library 來幫助操作。

在 PHP 中爲了避免 Single quote 或是 double quote 等特殊字元可能造成 SQL injection，多半會使用 addslashes() 或 mysqli::real_escape_string() 函數來事先處理。而在 python 的 MySQLdb 中也有雷同的函數 MySQLdb.escape_string() 可是使用來跳脫特殊字元，我所處理的文本資料是 utf-8 編碼，在第一次使用就出現了如下的錯誤訊息：
MySQLdb.escape_string(sql)
UnicodeEncodeError: 'ascii' codec can't encode character...
讓我傷透了腦筋以爲是 unicode 造成的問題，陸續找了其他像 replace 或 regular expression 的方式來替換，也試過字串以參數代入的方式，但都無法盡善盡美。
最後我又回到了這個錯誤訊息，錯誤訊息總是會有解答的 Hint :)。
原來 MySQLdb.escape_string() 試圖將 query 的內容 encode 成字串，預設使用的 encode 編碼是 ascii，而我們所使用的 query 無法被 encode 成 ascii 而產生錯誤。所以我們必須告訴 MySQLdb 要使用的編碼是 utf-8，方法如下：
MySQLdb.escape_string(sql.encode('utf-8'))
就可以順利的利用 MySQLdb 中的 escape_string()  來處理擾人的特殊字元了！
標籤：

留言

張貼留言

這個網誌中的熱門文章

Word的合併列印如何出現「千分位」符號

今天樓下的同事突然問我一個問題，合併列印的時候如何顯示「千分位符號」（逗號），就是12 , 300。在Excel我們可以很容易的為儲存格裡的數字加上千分位的標記，但是儲存格實際儲存的還是只有數字，那個千分位符號是Excel給我們看的一種「格式」。 當我們在Word裡使用Excel做好的報表來合併列印的時候，Word會最真實的將這個數字欄位給讀出來，呈現在合併列印的欄位數值裡，無論在Excel理事不是有設定千分位符號，在Word合併列印後卻沒有出現，所以我們同樣的必須給他加上格式。 Word裡加上格式並不如Excel裡按一下就完成，加上逗號的千分位格式方法如後： 1.在Word裡插入合併列印的欄位變數。 2.在變數上按滑鼠右鍵，選擇「切換功能變數代碼」（也可以直接按Alt+F9），變數會由 經費 >> 變成 { MERGEFIELD "經費" } 。 3.加上格式就是把 { MERGEFIELD "經費" } 在}前加入數字格式參數 /##,###，會成為 { MERGEFIELD "經費" /# ##,### }（這裡指定五位數，以此類推） #：這個格式項目會指定要在結果中顯示的必要位數；如果結果不含該位數的數字，則 Word 會顯示一個空格。 0：這個格式項目會指定要在結果中顯示的必要位數；如果結果不含該位數的數字，則 Word 會顯示 0 (零)。 4.預覽內容，就可以發現千分位（逗號）出現，如果數值有零的話，最好可以換成 /# ##,## 0 ，避免空格出現。 數字格式參數請參考 Microsoft Office Online 。
1 則留言
閱讀完整內容

在DOS下檔案名稱加上日期

由於要完成檔案自動備份的需求，以減少每日使用人工的麻煩，也可以避免人為疏失造成的遺漏，需要定時拷貝某個檔案至遠端，在檔名加上日期以避免檔案覆蓋的情形。由於近來接觸Linux較多，自然比較熟悉Linux的Shell語法，回到Windows裡卻想不到解決的方法。 開始使用電腦時，已經活生生的跳過了DOS的年代，雖然會使用Copy語法，卻不知怎麼加上系統日期，參拜估狗大師後得到了解答，使用%DATE%環境變數。 在DOS中使用date會顯示目前日期，但會要求輸入新的日期時間不符合需求，雖然加上"/T"不會詢問新時間，但因為date是指令無法使用在copy的語法中，所以我們使用%DATE%環境變數，所以在我們要加上日期的檔案上加上此環境變數：copy test.txt test_%DATE%.txt 結果並不如我們想像，使用echo看%DATE%的傳回值，會出現"2007/12/4"，使用於copy語法裡系統回應「命令語法不正確」，我們必須去除「/」的符號，這就需要用到環境變數的擴充功能了！ 用echo來測試： # echo %DATE:~0,4% ： 取環境變數%DATE%的值，由第一碼開始取四碼（可以取出"西元年"的值）。 # echo %DATE:~5,2% ：取環境變數%DATE%的值，由第六碼開始取二碼（可以取出"月"的值）。 # echo %DATE:~8,2% ：取環境變數%DATE%的值，由第九碼開始取二碼（可以取出"日"的值）。 原先的 #copy test.txt test_%DATE%.txt 要更改成 #copy test.txt test %DATE:~0,4% %DATE:~5,2% %DATE:~8,2% .txt 拷貝後的檔案為test_20071204.txt
張貼留言
閱讀完整內容

使用者只能 SFTP 登入自己的家目錄

使用者只能 SFTP 登入自己的家目錄 老師的電腦動畫課堂的期末作品，是開放讓學生透過 FTP 上傳自己的作品及網頁至實驗室的伺服器，由於 FTP 是明碼的封包傳輸於最近升級系統後，便考慮改用 SFTP（SSH File Transfer Protocol）來提供上傳的服務。 提供 SFTP 上傳的同時，希望使用者和以前一樣只能使用 SFTP 無法使用 SSH 登入伺服器。SFTP 為 SSH 的檔案傳輸服務，預設建立帳號的時候使用者同時可以使用這兩種服務。透過 SFTP only + Chroot 設定我們能限制使用者僅能 SFTP 並且無法離開自己的家目錄去到處閒晃。 安裝 OpenSSH 如果安裝的是 Ubuntu Server 應該在安裝過程會安裝 openssh-server 套件，沒有的話可以利用下面的指令安裝。 $ sudo apt-get install openssh-server 新增一個給 SFTP 使用的群組 sftpaccess $ sudo groupadd sftpaccess 修改 OpenSSH 設定檔 編輯 /etc/ssh/sshd_config 設定檔，在約 77 行的地方找到 Subsystem sftp /usr/lib/openssh/sftp-server 註解此行並修改為 Subsystem sftp internal-sftp 。 $ sudo vim /etc/ssh/sshd_config #Subsystem sftp /usr/lib/openssh/sftp-server Subsystem sftp internal-sftp 在檔案的尾端加上下面的片段 Match group sftpaccess ChrootDirectory /home/%u X11Forwarding no AllowTcpForwarding no ForceCommand internal-sftp 建立新的使用者並加入 sftpaccess 群組 在設定檔中，我們設置了 sftpaccess 這個群組套用要做 ChrootDirectory 的設定，所以我們將要限制的使用者，加入這個群組中。 $ sudo useradd ...
張貼留言
閱讀完整內容