コンサルって何？
自分は米国民間コンサル会社でずっと働いています。 コンサルというと色々ありますよね。皆さんが良く聞くのは、ビジネス系のコンサルだと思いますが、自分がやっているのは、社会福祉系、教育系、政策系のコンサルです。 自分はシカゴ大学で社会学の博士号をとりましたが、まわりの同僚も、だいたい社会科学系、教育学系のPHDかMAが多いです。だから、サンフランシスコ付近に生息しておられるIT系の日本人のかたがたがやっているのと少し違う業界です。 だいたい、クライアントは州政府か連邦政府で、教育プログラムの評価が多いのですが、今、やっているあるプロジェクトは、コンサルっぽさが半端ないので、ちょっと説明してみますね。 ある州政府が、ある青少年の育成を助けるプログラムを運営していますが、その運営において、評価という視点が大切です。一体目的が達成されているの？やるって言っていることがちゃんとできてる？という視点です。 そこで今回のタスクは、データシステムで集めていることが、実際に使われているのか？そして、使われているデータ項目は役に立っているの？という視点からデータを見ることでした。 まず、データからアウトプットされるデータが私のPCにあります。これはエクセルでもらいました。そして、それを普段はSASで読み込んで、色々な指数を出してレポートを作成します。 今回はRで読みこんでみました。 Rじゃないとだめなわけではありません。が、最近まで仕事がスローで苦労していて、転職しないといけないなら、RとかPythonとかでデータ分析できないといけないなと思っていて、数年、Rをできるだけ使うようにしているのです。 仕事は１か月ぐらい前から普通になりましたので別に転職をする必要はなくなりました。でも、あせってＲを勉強してきて、今年ぐらいから、普通に使えるようになりました。 Ｒに読み込んで、それぞれのデータ項目（変数）に本当にデータが入っているかを確認します。１００％入力されている場合は、ちゃんとデータが集められているということですが、２０％しか入力されてなかったりすると、本当にこの項目必要なの？ということになりますね。 ちなみに、私の業界では、データを収集する会社は別にいて、そこからデータをもらってくるがために、必ずしも、データの内容が簡単に分かるわけではありません。さらに、よく、どかんとデータをくれるのはいいんですが、内容は意味不明だったりするんです。だから、ちゃんと見て理解します。 （データ収集の会社と分析の会社が違うのはよくあります。） 今回は、そのデータを入力するシステムにLOG INしまして、そこで問われている項目と、実際のデータ（エクセル内にある）を照らし合わせて、あ、聞いていることはここにあるな、この変数名だな、、というのを確認します。 問われていないのに、データがあったりすることもありますが、これは例えば５年前には、収集していたが、今は集めていないということだったりです。これは経験で気づくことができます。 とても具体的になりますが、Rだと、以下のようにして読み込みます。データはエクセルからSASデータに変換したものを使っています。細かいですが、これはSASで変換したのではなくてSPSSで変換しました。SPSSのほうが、変数名が短くなるので、自分はSPSSで変換しています。 REF <- read_sas("Referral_info.sas7bdat") そして、この中にある日にちを表す変数を分かりやすいように、カレンダー変数に変更します。このときに、originを指定しますが、そもそもこのやりかたも、直前にぐぐりました。 REF$A_Date <- as.Date(REF$A_Date, origin = "1899-12-30") そして、これでちゃんとカレンダー変数になったかどうかは、オリジナルの日にちと、Rデータの中の日にちが同じだったら、正しく処理できたということになります。 経験で、ExcelからSASに、あるいは他のソフトウェアに読むと、日にちがずれるというのを知っているので、慎重になります。 自分は英文科卒業なのですけど、上のように、確認しながらプログラミングができるので、文系でもデータ分析はできると思います。合ってるかどうかが、確認できるのです。 ただし、ぐぐるのは苦痛です。ぐぐらなくても、できるようになれば楽しくなってきますが、ぐぐっているうちは、面倒くさいです。 もう一つ。文系だった自分がなぜデータ分析や統計分析ができているのかですが、上のようなやりかたを一回使ったら、それをメモしておくんです。そして再利用します。メモする場所は私の統計関連のウェブサイトです。ここに置きます。 このサイトがないと仕事になりません。サイトなので、家からでも会社からでも日本からでもアクセスできます。 ぐぐるのは苦痛ですが、自分がすでに使ったものを再利用するのは、楽しいです。 さて、データを読み込んだ後で、とりあえず最近のものを１年分だけ見ることにしました。昔のは見てもしょうがないからです。クライアントにとっては。 これもぐぐりました。２０１９年の８月２６日からの後のものをデータとする、、と指定します。 REF2<-filter(REF, A_Date >= as.Date("2019-08-26"), A_Date <= as.Date("2021-12-31")) これも、別にプログラミングが専門じゃなくても、結果が正しければ、正しいことをしたことになるのです。 ちなみに、本当は、２０１９年の８月２６日から後のものと指定したかったのですが、やり方が分からなかったので、とりあえず、その時点から、今年の年末までと指定しました。 もし、このプログラムを来年も使うとしたら、気を付けないといけませんね。 そして、以下は、以前、使ったものを関数を再利用したものです。ある変数にデータがどれだけつまっているかというのを計算します。１０人分のデータがあって、５人分しかデータが入力されていなかったら５０％と出ます。 kaz_macro<-function(var2,var1){var1_d <-deparse(substitute(var1))x1<-sum(is.na(var2[[var1_d]]))x2<-sum(!is.na(var2[[var1_d]]))x3<-"-"x4<-"~"x5<-"`"available=100*(round((x2/(x1+x2)),digit=3))y <- paste(var1_d,x3,x1,x4,x2,x5,available)return(y)} こういうのも、結果を確認して、正しければ正しいので、合ったらOKで進んでいきます。ちなみにこの関数は、最初は、やり方が良く分からなかったので、ネット上で調べたり同僚に聞いたり、ネットで知り合った専門のかた、あいさくさん( https://twitter.com/IsaacNakamura )に聞いたりしてやっと書けました。 一度こういうのが書けたら、再利用します。 […]
メキシコの思い出（１）
本日は英語以外の言語を勉強することについて書いてみたいと思います。 今日は第１話で、明日は第２話を配信させていただきます。 私はスペイン語を話しますし、理解もできますが、実は、これができるようになったのは１５年ぐらい前の話なのです。もっとさかのぼって、３０年ほど前に、メキシコで３か月ホームステイをしました。その後、スペイン語をジョーク程度に話をしたものの、まさか、その後、４０歳ぐらいの時に、理解できるようになるとは思っていませんでした。 まず大学で１年が終わったあとに、アメリカで語学学校に行きましたが、その時に、アメリカが非常に退屈であったのと、英語をあまり話す機会がなかったように思えたので、たまたま大学の友人が行っていたイギリスのイーストボーンというところに行ってみたのです。 アメリカ人はあまり外国人に対して英語を教えてくれようとしないと思います。日本にいた方が日本に興味のあるアメリカ人や外国人がいるので、当時はアメリカに来たのになかなか英語を話す機会がありませんでした。 ホームステイをしたら、フィリピンの家族で、それはいいんですけど、ルームメートが東京出身の隆君（仮名）だったのです。日本を出たのに、日本語だったわけです。 それでイギリスに渡りましたところ、アメリカと同じで、イギリス人がわざわざ日本人を歓迎してくれて、英語を教えてくれるという雰囲気はありませんでした。 が、語学学校にたくさんのヨーロッパ人、中東、アフリカのかたがたがいて、とても仲良くしてくれました。歩いてうろうろできる街だったというのが大きいと思います。 アメリカの語学学校にスイス人がたくさんいましたが、自動車の国なので、なかなか、社交が難しかったです。 イギリスでは退屈ということはなかったです。海が近くて、街も非常に美しかったです。 メキシコ人のクラスメートの女性と仲が良くなりまして、そのかたは、ビートルズのジョージハリソンファンでした。 日本人の友人もいました。彼は大学の１年目によく下宿に遊びに来ていて、将来、留学しようみたいな話をしていました。 メキシコ人の女性、日本人の友人、そして、ドイツ人の女性と私の４人が仲良しグループのような感じでした。 その女性がスペイン語をちょこっと教えてくれていたのですが、メキシコに来て、語学学校に行ったらというので、３か月イギリスにいた後に、今度はメキシコに行きました。 するとメキシコでは、そのかたの家族が、家族同然に接してくれて、ついでに、歓迎されながら、スペイン語を毎日話すという、、、 日本人としては、留学ってそういう感じだろうなと想像する世界があったのです。 つまり、 アメリカは、、、来てみたら、ルームメートが日本人で、ホームステイはフィリピンからの移民の家族（英語になまりがあったので、少し残念な気がした。当時はね。）。そして、英語を話す機会がそれほどないように思えた。 イギリスは、アメリカと同じような感じだけど（つまり、イギリス人が英会話の相手をしてくれる感じではなかった）、、、が、、街がきれいでうろうろできて、他国からきた留学生と仲良くなれた。 そして、ついにメキシコ、、、これが、我々が想像する海外生活だったのです。 ルームメートはホストブラザーで、当時高校生の最終年度だったのだと思います。英語を勉強したいから英語で話してもいいか？と言われました。スペイン語も話しましたけどね。 その友達もよく家に来て私と話します。 家族もいつもいて、スペイン語で話してくれます。 ブラザーが一度クラブみたいなところに連れて行ってくれましたが、金髪で、モデルのように（当時はそう見えた）メキシコ人の女性が英語で私に話しかけてくれたのを覚えています。 アメリカではありえないと思いました。まるで自分を特別扱いしてくれているような気がしました。 日本人が日本で考えるところの、周りにちやほやされる「留学生」という感じ。 語学学校のある大学のキャンパスだったか、４人ぐらいの大学生に囲まれて、英語で意見をもとめられこともあります。 もしかしたら、アメリカからの留学生が日本で、良い待遇を受けたりしますが、似た感じだったのかもしれません。 さらにスペイン語のクラスですが、半分はアメリカ人。仲良くなれました。ヨーロッパの人たちもいました。帰国してからも、アメリカ人のかたと手紙を交換したぐらいです。 この経験があったから、アメリカ人とも友達になれたのですよね。 ３か月たって、スペイン語はまだ片言ではありましたが、メキシコ文化にどっぷりつかって、生活することができました。 ホームステイ先のホストファーザーはお医者さんでしたが、家賃、食事代がいらないというのです。せめて帰る前に、レストランにみんなで行って、自分が持っていたお金で払いました。 それでは、続きはまた明日、よろしくお願いします。