yamakiy’s tech blog

技術系の記事をメインにやります。

python

django-q+supervisorで非同期処理

django-q+supervisorで非同期処理 Django Advent Calendar 2018 3日目 django-q+supervisorで非同期処理が実現できるまでをやります 今回検証用に作ったprojectはgitに上げてます GitHub - yamakiy/djangoq_example: django-qを利用した非同期実装のメモ 環…

言語処理100本ノック(第4章)

yamakiy.hatenadiary.jp github.com いよいよ4章 mecabは仕事でも使ったことがあるから早めに終わらせたい 第4章: 形態素解析 夏目漱石の小説『吾輩は猫である』の文章(neko.txt)をMeCabを使って形態素解析し,その結果をneko.txt.mecabというファイルに…

言語処理100本ノック(第3章 28 ~ 29)

yamakiy.hatenadiary.jp 28. MediaWikiマークアップの除去 27の処理に加えて,テンプレートの値からMediaWikiマークアップを可能な限り除去し,国の基本情報を整形せよ. 27は前回のコードと重複するところが多いから、再利用ついでに少しリファクタ そうし…

言語処理100本ノック(第3章 25 ~ 27)

前回の続き 25. テンプレートの抽出 記事中に含まれる「基礎情報」テンプレートのフィールド名と値を抽出し,辞書オブジェクトとして格納せよ. #!/usr/bin/python3.6 import json import re from pprint import pprint class JawikiCountry(object): jawiki…

言語処理100本ノック(第3章 23 ~ 24)

前回の続き。 第3章: 正規表現 Wikipediaの記事を以下のフォーマットで書き出したファイルjawiki-country.json.gzがある. 行に1記事の情報がJSON形式で格納される 各行には記事名が"title"キーに,記事本文が"text"キーの辞書オブジェクトに格納され,その…

マルコフ連鎖による文章生成プログラム

ちょっと前に作ったやつ github.com モデルを与えると、与えられたモデルから適当な文章を生成 元はqiitaでマルコフ連鎖というものを知って自分もやってみようと思ったのが発端 マルコフ連鎖とは 過去を考慮せず、現在の状態から次の状態を推察するもの 本プ…

言語処理100本ノック(第3章 20 ~ 22)

前回の続き。 第3章: 正規表現 Wikipediaの記事を以下のフォーマットで書き出したファイルjawiki-country.json.gzがある. 行に1記事の情報がJSON形式で格納される 各行には記事名が"title"キーに,記事本文が"text"キーの辞書オブジェクトに格納され,その…

言語処理100本ノック(第2章)

前回の続き。 第2章: UNIXコマンドの基礎 hightemp.txtは,日本の最高気温の記録を「都道府県」「地点」「℃」「日」のタブ区切り形式で格納したファイルである.以下の処理を行うプログラムを作成し,hightemp.txtを入力ファイルとして実行せよ.さらに,同…

言語処理100本ノック(第1章)

いつしか途中で投げてたから最初からやってみる 言語はpython3.6 参考にした問題 言語処理100本ノック 2015 第1章: 準備運動 00. 文字列の逆順 文字列"stressed"の文字を逆に(末尾から先頭に向かって)並べた文字列を得よ. In [1]: "stressed"[::-1] Out[1…