株式会社パワービーンズ - Yahoo　テキスト検索（日本語形態素解析）

IT Innovator

お問い合わせ

HOME 業務内容無料見積・相談オープンソース PowerBEANS Lab

業務内容

WEBシステム開発開発事例 Linuxサーバ構築無料見積・相談 GoogleAppEngine向けサイト構築 iPhoneアプリケーション開発

弊社製品

SecureBrows OpenFootStep

オープンソースプロダクト

JDBCDebugger CharsetConv Eclipse Plugin QuickReflector PowerQL Prop2Java Eclipse Plugin PowerDBJ Eclipse Plugin CharsetConv Eclipse Plugin toUnicode Eclipse Plugin

パワービーンズLab

JAVA PB-Lab

会社情報

企業方針会社概要技術者大募集！新卒技術者大募集！

コンタクト

お問い合わせパートナー様

Yahoo　テキスト検索（日本語形態素解析）

Yahoo WEBサービスには日本語文字列からキーワードを抜き出す「日本語形態素解析」の機能が提供されています。
例えば「私の名前は。」という文章を渡すと、文章を構成している単語に分割し、
その読み方、品詞を返します。

例）
　私　＞　わたし (名詞)
　の　＞　の (助詞)
　名前＞　なまえ (名詞)
　は　＞　は (助詞)

ここではその利用方法を紹介します。

1. Yahoo デベロッパーネットワークに登録

Yahoo! デベロッパーネットワークを表示し、
左側サイドメニューの「アプリケーションIDの登録」から登録します。
※詳細は画面の指示に従ってください。
※ここでのアプリケーションIDは "amstransit" とします。

2. 日本語形態素解析を試す

こちらのページにインターフェースが公開されています。
日本語形態素解析Webサービス

検索URI
　http://api.jlp.yahoo.co.jp/MAService/V1/parse
必須パラメータ
　解析対象テキスト：sentence
　解析結果の種類：results ( "ma" の場合通常の形態素解析結果、"uniq" の場合形態素解析結果の出現頻度 )
　アプリケーションID : appid

この仕様に従うと"私の名前はパワービーンズです。"を検索するクエリURLは
http://api.jlp.yahoo.co.jp/MAService/V1/parse?appid=amstransit&sentence=私の名前はパワービーンズです。&results=ma
となります。
このURLをURLエンコードすると
http://api.jlp.yahoo.co.jp/MAService/V1/parse?appid=amstransit&sentence=%E7%A7%81%E3%81%AE%E5%90%8D%E5%89%8D%E3%81%AF%E3%83%91%E3%83%AF%E3%83%BC%E3%83%93%E3%83%BC%E3%83%B3%E3%82%BA%E3%81%A7%E3%81%99%E3%80%82&results=ma
となります。

ためしに上記URLをブラウザのURL欄に入力してリクエストしてみてください。
以下のような検索結果がXMLで返却されます。

ここではJAVAとPHPでのサンプルを紹介します。

3. JAVAで形態素検索検索

サンプルコードを公開します。

YahooWebService クラス

package jp.co.powerbeans.ws.sample.yahoo;

import java.io.IOException;
import java.net.URLEncoder;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import javax.xml.parsers.ParserConfigurationException;
import javax.xml.parsers.SAXParser;
import javax.xml.parsers.SAXParserFactory;

import org.xml.sax.Attributes;
import org.xml.sax.SAXException;
import org.xml.sax.helpers.DefaultHandler;

/**
 * YahooWebService
 * @author amonden
 * @create date 2007/06/25
 */
public class YahooWebService {

  /**
   * yahoo appid
   */
  private String appid;

  /**
   * コンストラクタ
   * @param appid アプリケーションID
   */
  public YahooWebService(String appid) {
    this.appid = appid;
  }

  /**
   * テスト実行用メイン
   * @param args
   * @throws Exception 
   */
  public static void main(String[] args) throws Exception {
    String appid = "amstransit";
    YahooWebService yahoo = new YahooWebService(appid);
    // WEB検索
//    List<Map> list = yahoo.searchWeb("パワービーンズ");
    // 画像検索
//    List<Map> list = yahoo.searchImage("パワービーンズ");
    // 検索結果を出力
//    for (Map row : list) {
//      System.out.println(row.get("Title") + ":" + row.get("Url"));
//    }
    
    
    // 日本語形態素解析
    List<Map> list = yahoo.parseJp("私の名前はパワービーンズです。");
    
    // 検索結果を出力
    for (Map row : list) {
      System.out.println("[単語]" + row.get("surface") + " " + 
          "[読み方]"+ row.get("reading") + " " + 
          "[品詞]" + row.get("pos"));
    }
  }

  /**
   * WEB検索を実行
   * @param query 検索ワード
   * @return 検索結果
   * @throws Exception 
   */
  private List<Map> searchWeb(String query) throws Exception {
    String url = "http://api.search.yahoo.co.jp/WebSearchService/V1/webSearch?appid=" + appid
        + "&query=" + URLEncoder.encode(query, "UTF-8");
    
    return queryByUri(url, "ResultSet", "Result");
  }

  /**
   * 画像検索を実行
   * @param query 検索ワード
   * @return 検索結果
   * @throws Exception 
   */
  private List<Map> searchImage(String query) throws Exception {
    String url = "http://api.search.yahoo.co.jp/ImageSearchService/V1/imageSearch?appid=" + appid
        + "&query=" + URLEncoder.encode(query, "UTF-8");
    
    return queryByUri(url, "ResultSet", "Result");
  }

  /**
   * 日本語形態素解析
   * @param centense 解析対象文字
   * @return 検索結果
   * @throws Exception 
   */
  private List<Map> parseJp(String centense) throws Exception {
    String url = "http://api.jlp.yahoo.co.jp/MAService/V1/parse?appid=" + appid
    + "&sentence=" + URLEncoder.encode(centense, "UTF-8") + "&results=ma";

    return queryByUri(url, "ResultSetma_resultword_list", "word");
  }

  /**
   * URIをリクエストし検索結果を返す.
   * @param url URI
   * @param root_name ルート要素名
   * @param item_name 検索結果要素名
   * @return 検索結果
   * @throws Exception
   */
  private List<Map> queryByUri(String url, String root_name, String item_name) throws Exception {
    SAXParserFactory spfactory = SAXParserFactory.newInstance();
    SAXParser parser = spfactory.newSAXParser();
    XmlResponseSax sax = new XmlResponseSax(root_name, item_name);
    parser.parse(url, sax);
    return sax.getResultList();
  }

  /**
   * 検索の結果を解析するパーサー
   * @author amonden
   * @create date 2007/06/25
   */
  public class XmlResponseSax extends DefaultHandler {
    List<Map> list = new ArrayList<Map>();
    private String tag_path = "";
    private Map<String,String> map;
    private String itemKey;
    private String itemName;

    /**
     * コンストラクタ
     * @param root_name ルート要素名
     * @param item_name 検索結果要素名
     */
    public XmlResponseSax(String root_name, String item_name) {
      this.itemKey = root_name + item_name;
      this.itemName = item_name;
    }

    /* (non-Javadoc)
     * @see org.xml.sax.helpers.DefaultHandler#characters(char[], int, int)
     */
    @Override
    public void characters(char[] ch, int start, int length) throws SAXException {
      if (this.map != null) {
        String key = this.tag_path.substring(itemKey.length());
        this.map.put(key, new String(ch, start, length));
      }
    }

    /**
     * 集計結果リストを返す
     * @return
     */
    public List<Map> getResultList() {
      return this.list;
    }

    /* (non-Javadoc)
     * @see org.xml.sax.helpers.DefaultHandler#startElement(java.lang.String, java.lang.String, java.lang.String, org.xml.sax.Attributes)
     */
    @Override
    public void startElement(String uri, String localName, String qName, Attributes attributes) throws SAXException {
      if (itemName.equals(qName)) {
        this.map = new HashMap<String,String>();
      }
      this.tag_path += qName;
    }
    
    /* (non-Javadoc)
     * @see org.xml.sax.helpers.DefaultHandler#endElement(java.lang.String, java.lang.String, java.lang.String)
     */
    @Override
    public void endElement(String uri, String localName, String qName) throws SAXException {
      if (itemName.equals(qName)) {
        this.list.add(this.map);
        this.map = null;
      }
      this.tag_path = this.tag_path.substring(0, this.tag_path.length() - qName.length());
    }
  }
}

実行結果

java jp.co.powerbeans.ws.sample.yahoo.YahooWebService

[単語]私 [読み方]わたし [品詞]名詞
[単語]の [読み方]の [品詞]助詞
[単語]名前 [読み方]なまえ [品詞]名詞
[単語]は [読み方]は [品詞]助詞
[単語]パワー [読み方]ぱわー [品詞]名詞
[単語]ビーンズ [読み方]びーんず [品詞]名詞
[単語]です [読み方]です [品詞]助動詞
[単語]。 [読み方]。 [品詞]特殊

実行結果を見ると分かるように、単語の読み方も返します。
この読み方を取得する機能だけでも非常に有用かもしれません。
使い方次第では、視覚障害者向け音読ソフト、音読システム
の基本技術としての活用することもできそうです。

4. PHPで形態素検索検索

PHP版サンプルを公開します。

無料見積・相談

ログイン
ユーザ名: パスワード: パスワード紛失新規登録

検索
高度な検索

アクセス解析８　WEBサービスサンプル集
このサイトは OpenFootStep でアクセス解析中です

PageTop↑