2015年2月20日金曜日

なんとなくperlで正規表現練習



perlの正規表現で否定的先読みがある。

検索文字(?!パターン)


どういう効果があるかは「正規表現 後読み 先読み」とかでググると色々な例があるよ。


以降なんとなく正規表現練習。

echo -e '
unused
 aaaa =>        bbbb// cccc
,dddd =>        array()
     ffff =>array( // gggg
        ,hhhh =>array(
'

以上をLinuxコマンドに「echomatch」として登録。
コマンド自作方法は「shellscript 自作コマンド」でググると大体おk。

LinuxについてはVagrantとVirtualBoxを使って、実験用の仮想環境を作ろう。
私はなんとなく「CentOS 6.5 64bit」を使ってる。



①「unused」は行回避する
②「array(」も行回避する
③コメント部分は回避する
④「=>」の行は一致させる

「=>」行を一致

echomatch  | grep -Po --color '^.*=>.*'
 aaaa =>                bbbb// cccc
,dddd =>                array()
         ffff =>array( // gggg
                ,hhhh =>array(
        ,iiii =>array(jjjj) // kkkk

---------------- ---------------- ---------------- ----------------

コメント部分を行回避

echomatch  | grep -P --color '(^.*=>[\t ]*)(?!.*//).*'
,dddd =>                array()
                ,hhhh =>array(

---------------- ---------------- ---------------- ----------------

コメント行に一致させつつ、コメント部分を回避

echomatch  | grep -P --color '(^.*=>[\t ]*).*(?=//)'
 aaaa =>                bbbb
         ffff =>array(
        ,iiii =>array(jjjj)

---------------- ---------------- ---------------- ----------------

2つを合体させて、コメント部分だけを回避

echomatch  | grep -P --color '(^.*=>[\t ]*)(.*(?=//)|(?!.*//).*)'
 aaaa =>                bbbb
,dddd =>                array()
         ffff =>array(
                ,hhhh =>array(
        ,iiii =>array(jjjj)

---------------- ---------------- ---------------- ----------------

「array(」で終わる行を回避

echomatch  | grep -P --color '(^.*=>[\t ]*)((?!.*array\()|(?=.*array\(.*\))).*'
 aaaa =>                bbbb// cccc
,dddd =>                array()
        ,iiii =>array(jjjj) // kkkk

---------------- ---------------- ---------------- ----------------

これも合体させます、「array(」は行削除なので最優先で行います。また、「array()」は削除されないよう、「array(」と同レベルの優先度行います
コメント回避は後ろに置きます。部分回避は大体後ろに置かないと死ぬ。


echomatch  | grep -P --color '(^.*=>[\t ]*)((?!.*array\()|(?=.*array\(.*\)))(.*(?=//)|(?!.*//).*)'
 aaaa =>                bbbb// cccc
,dddd =>                array()
        ,iiii =>array(jjjj) // kkkk

---------------- ---------------- ---------------- ----------------



コメント回避を場合分けで対処するのはエレガントじゃないよね、他に方法思いつかない。



おまけ




なんとなく冬美貼る。
てかソースコードのように書くのめっちゃめんどい。
あとこれプレビュー反応しねえ。

2015年2月17日火曜日

perlで配列にファイルオープン


なんとなくリッチにメモリをバカ食いしながら処理をする。
perlで配列にファイルオープン。各行を配列にぶち込みたい時に。

①まずファイルオープンします。

open( DATAFILE , "<" , $FilePath ) or die('Error:'.$!) ;


②次に配列に入れます。

my @MultipleLines = <DATAFILE> ;


③終わり。


簡単ですね。

しかしこれでは文末にみんな大好き\n(改行コード)が入ってしまいます。
では文末の\nを取り除いたバージョン、いましょう。


①まずファイルオープンします。

open( DATAFILE , "<" , $FilePath ) or die('Error:'.$!) ;


②次に配列に入れます。<DATAFILE>は何故か配列扱いされるので、
 mapで文末の\nを空文字に置換します。

my @MultipleLines = map { $_=~ s/\n$// ; $_ } <DATAFILE> ;


③終わり。


これで簡単に配列に展開できましたね。


おまけ



lookbehind assertion is not fixed length
後読みが固定長文字列じゃないよ!(訳:後読みに量指定とか付けんなや!)
ちなみにPerlでは無理です。仕様が許さない限りね。
そして月日が経ち……
5.10新機能から「\K」実装。以下に例を示す。


echo 'dsdg = fsefe;//eiya' | grep -P --color '(?<=(//.*))ya'    :実行できない
↓代わりに
echo 'dsdg = fsefe;//eiya' | grep -P --color '((//.*)\K)ya'        :実行できる
「ya」に色がつく

echo 'dsdg = fsefe;//eiya' | grep -P --color '(?<=(fs|ds)).'    :実行できる(できる)
↓(できるけど)代わりに
echo 'dsdg = fsefe;//eiya' | grep -P --color '((fs|ds)\K).'        :実行できる
dとeに色がつく


以上のように「肯定的」可変長後読みが可能に。
しかし「否定的」可変長後読みは依然としてダメ。
まあ、私が知らないだけかもね。



perlは数日で簡単に正規表現を主体とした処理が書ける。
初心者になるハードルは低いという事ですね。
中級者以上になるつもりはないけど。
これで大規模プログラム組むとかはつらい。
特に関数がphp程に日本語訳が充実してないからつらい。

2015年2月9日月曜日

制限あるLinuxコマンドでの置換の仮実行(be limitd dry run)




なんつーか、Linuxコマンドで、
置換の仮実行(dryrun)っぽいのが無くて悲しいので、
なんとなく構造だけ書いてみる。
ちなみに以下のコードはperlがあること前提です。
別にsedでも問題ないです。



find ~ | xargs grep -Po '検索文字列' | cut -d ':' -f 2 | sort | uniq | perl -pe '置換スクリプト'



①「find」で対象ファイルの場所を取得。grepに投げる。

②「grep」で置換したい文字列を検索に掛けます。
 そしてオプション「-o」ファイル名と一致文字列を取得。cutに投げる。

③「cut」のオプション「-d ':'」で「:」で文字列を区切り、
 そしてオプション「-f 2」で区切った文字列の2番目、
 乃ち「一致文字列」だけ取得。sortに投げる。


④「sort」で一致文字列を整列させる。uniqに投げる。

⑤「uniq」で重複文字列を削除する、perlに投げる。

⑥「perl」のオプション「-p」で標準出力させるようにし、
 オプション「-e 'スクリプト'」で書かれたスクリプトを実行。
 -pによって置換された文字列が出力される。されるだけ。


ぶっちゃけ④とか⑤とかいらないけど、何となく。

-------------------------------- --------------------------------

sed使ってやる場合。

find ~ | xargs grep -o '検索文字列' | cut -d ':' -f 2 | sort | uniq | sed -e '置換スクリプト'

perlとsedってここだけ見ると似てますね。

-------------------------------- --------------------------------

今後の方向性。

①各行毎に置換前、置換後を表示したい。
②色付けたいよね。色。

たぶん
自作コマンド的な何かを作れそう。


-------------------------------- --------------------------------


問題

先読み、後読みによる置換では不具合が起きる。
この構文のままでは先読み、後読み指定した文字列が、
一致文字列に入らないので無意味。


2014年12月23日火曜日

nodejsを使っていて気付いた点。

最初に断っておくけど、私はjavascript初心者です。なので9割方はjavascriptをディスってます。あと変なネタ混じってます。スルーしてください。それとTipsでも何でもありません。ただの作文です。感想です。

prologue-始まりの詩-
趣味で家計簿サーバ作ってるんだけど、
①リアルタイム処理をすごく簡潔に書ける。
②サーバの構築がものすごい楽。
という風の噂を小耳に挟んだ事があった様な気がしたので、「nodejs」を使って最近日曜の半分以上を使ってがりがりやってたので、分かった事の5分の1くらいを纏めます。

最初は何とかなるって思ってました、nodejsって結構前から出てる最新型なので、javascriptのほうも全く知らなかったのでいい勉強になると思い、そしてリアルタイム通信が魅力的でした。
扱いづらいプラットフォームと言語とかって話だが、最新型が負けるわけねえだろ!行くぞおおぉぉあ!!


outbreak-体験-
nodejsの後ろめな性質
  1. サーバ側でnodejs特有の書き方を覚える必要がある
  2. 実はそんなに速度ない
  3. 頻繁に更新される
  4. 致命的な不具合があるとサーバが即停止する
  5. 「co」を使わないとお話にならないじゃん・・・
  6. 「co」も割と頻繁に更新されてる
  7. 言語がjavascriptである
nodejsの良さある性質
  1. サーバの構築がapacheとphpとmysqlのサーバ組むより、アホみたいに楽
  2. クライアント側であるwebビュアー側との通信もそれなりに楽
  3. サーバとクライアントとのリアルタイム通信がアホみたいに楽
こんな感じですね、感想。
それでまとめとして。
  1. javascriptのせいで大きな開発をするべきではない
  2. 不具合あるとサーバが即停止するので絶対ミスれない
  3. javascriptのせいでメンテ性がアホみたいに低い
  4. 初期開発効率がめちゃくちゃ高いけど、javascriptのせいですぐに急激に開発効率が下がる
結論「だいたいjavascriptのせい」


callback-未来への退路-
前章のまとめでは(javascriptのせいで)デメリットが大きすぎて割りに合わないと言い切りましたが、初期開発効率が非常に高いという点に重点を置くならば、小さいプログラムを書く上では非常に良いものです。

よく訓練されたjavascripterならコールバック地獄を中をすがすがしくコーティングしていくでしょう。なので、要はjavascriptでの開発耐性がものを言う戦場なのです。

しかし、javascriptでコールバックとか知らんとか、jquery信者とか、でもしかプログラマーな方々は、即座にコールバック地獄の中を渡り歩いて行かなければならないのです。ですが、もし、この茨の道を通り、生存しているならば、あなたはjavascriptでの開発力を上げられるでしょう。

それでまとめとして。
  • javascript初級者なら見事なまでのコールバック地獄を堪能できる。
  • コールバック知らない人はこれで嫌でもコールバックが分かる。
    • これで生きていれば素養の持ち主として認められる可能性が上がる
    • もし思考停止すると「お前で28人目。恐れるな、バグまみれになる時間が来ただけだ」
  • 訓練されたjavascripterなら大規模開発も出来る。
  • 不具合が絶対許されないので変な気分に浸れる。
結論「javascriptのクソさを学ぶなら最適じゃない?」


co-nodejs界のZIVAにゃん-
前章でコールバック地獄に揉まれるので、初心者だと生きているだけで奇跡に近いと言いました。ですが別にひたすらコールバックに揉まれることがあまりありません。知能が高ければ「co」というモノがあり、これを使いこなせればある程度コールバックを緩和することが出来ます。

しかし、そもそもこの「co」が非常に癖の強いモノで、まず例文を動かす事ができたらやっぱり大したことない! 言われたとおりだ、ハハハ!って調子に乗っていいと思っていいです。そのあと過信しすぎてしまったが為に死にます。
  1. カリー化を知らないといけない
  2. カリー化しないといけない
  3. トップコードに書けない
  4. 自らもコールバック関数を書かないといけない
mysql-ServerSideDataBaseとの融和性-
まずmysqlを使おうとすると、mysqlのライブラリをカリー化しなければいけないのですが、これ自体は問題は無いのです。問題はこのライブラリのメソッドを使った自作ライブラリなんか作ろうとすると死にます。なぜならクラスオブジェクトの中の関数なので、関数というよりメソッドなのです。

メソッドは使えるところが限られますし、使う条件もあります、クラスがなければ絶対に動きませんし、クラスのほかの関数に依存だってしてあるときがあります。これを自作関数でラッパーしてカリー化するにはクラス内部にカリー化を仕込まないといけないのですが、私はメンドクサイので、参照だけ解決して無理やり実装しました。このあたりの実装は様々あると思うので詳しくはググってください、無いかもしれないけどね。

maker-作ったり作られたり-
じゃあ「co」は使えないのか?っていうと、正直デメリットが大きすぎて微妙です。提供されたライブラリにある関数だけなら何とかなります。ですがこれをラップした自作関数等は色色メンドクサイ作業が山積みになります。さらにそもそも「co」を使用することによって速度低下に繋がるのでは?といった検証しなければならない問題があります。

「じゃあ小規模で収まるならば、それこそ使わなくて良いのでは?コールバックも10重もしないし、変なのに頼りすぎるのも駄目だろう。なにより無駄に保守性が下がるのはよろしくない。」と私は思っているので、正直、小規模であれば「co」を使おうが使わまいがあまり状況は変わらないと思ってます。初心者だとコールバック地獄から脱出したい一心で「co」に過度な期待をすると返り討ちにされます。

また、この「co」は2014年に更新されまして、気軽にアップデートしたら動いてたプログラムが動かなくなりました。原因は「co」の基本構文が変わった事で構文エラーが吐かれたことでした。「co」は特殊な構文なので探すのは容易で修正も容易ですが、なかなかぞっとします。話が…違うっすよ…coは…特別だって…

それでまとめとして。
  • 「co」はすごい
  • すごいけどカリー化とかしないといけない
  • mysqlのライブラリとかをラッパーした奴は大体カリー化できない
結論「coは既存の問題を幾つか解決するが、
それ以上に問題を生産する。カリー化しなければいけない。」


freedom-結末-
前章で「co」なくてもいいんじゃね?って結論が出ました。
問題はこれを使うか使わないかですが、それは他人が決めることじゃなかろうさ。
最終的な決定権は自分にあります。責任も自分にあります。
好きにコードを書き、理不尽に不具合が起きる。楽しいjavascriptライフを!