Brian Curtis
0 
4958
916
Çığır açan, Dünyayı parçalayan bir araştırma yapmak için elinizin altında araçların olduğunu söylesem ne söylersiniz? Peki, yaparsın ve sana nasıl göstereceğim.
Hükümetler, akademik kurumlar ve kar amacı gütmeyen araştırma kuruluşları kamuya açık veri içeren tablolar yayınlamaktadır. Bu bilgiyi kullanan hiç kimse olmadan, gerçek değeri asla bilinmeyecek. Ne yazık ki, az sayıda insan veriyi alma ve görünüşte bağlantısı olmayan bilgiler arasında ilginç ilişkiler kurma konusunda bilgi, beceri veya araçlara sahiptir..
Arka fon
Kendi blogum için yaptığım araştırmaların çoğu, görünmez web olarak bilinenleri araştırıyor. Görünmez Web'i Keşfetmek İçin En İyi 12 Arama Motoru Görünmez Web'i Keşfetmek İçin En İyi 12 Arama Motoru Google veya Bing her şeyi arayamıyor . Görünmez ağı keşfetmek için, bu özel arama motorlarını kullanmanız gerekir. Halka açık, ancak arama motorlarından gizlenmiş verileri ortaya çıkarmak için İnternetteki En Gelişmiş 5 Motor, İnternetteki bir veritabanında bulunan En Gelişmiş 5 Arama Motoru. Bu derin web TorSearch Derin Web İçin Google Olmayı Hedefliyor TorSearch Derin Web Web İçin Google Olmayı Hedefliyor Tor Tor gizli bir hizmet ve Deep Web'in bir parçası. TorSearch, kurucusu Chris MacNaughton'un yapmak istediği yeni bir isimsiz arama motorudur. “Tor Google’ı”. , ve değerli verilerle dolu. Sıklıkla, sayım hastalığından, nadir görülen hastalıklarla ilgili sayım verilerinden epidemiyolojik çalışmalara kadar, gamı çalıştıran konularla ilgili en değerli verilerden bazılarıyla doldurulmuş web sayfalarına rastladım. Bu farklı veri kaynaklarını çeşitli araçlar kullanarak denemek ve ilişkilendirmek konusunda sürekli yeni fikirlerim var - ve bulduğum en değerli araçlardan biri Microsoft Excel içindeki Web Sorgusu..
İlginç Veri Korelasyonlarını Bulma
Bugün size göstereceğim şey, farklı web sitelerinden veri çekmek için Excel Web Sorgularını nasıl kullanabileceğinizi ve veriler arasındaki potansiyel korelasyonları araştırmak için bunları birbirine karşı nasıl çizebileceğinizi gösteren bir örnek..
Bunun gibi bir egzersizi başlatmanın yolu ilginç bir hipotez ortaya koymaktır. Örneğin - burada ilginç olanları korumak için - Amerika Birleşik Devletleri'ndeki yüksek hızda otizm oranlarının ya aşı aşılamalarından ya da cep telefonları gibi çocuklardaki ve etrafındaki çocuklarda ve artan elektromanyetik alanların varlığından kaynaklandığını rasgele olarak ileri süreceğim. Komplo teorisinin çoğu web sitesinde beğenilerini bulacağınız çılgın bir hipotez, ama bu işi eğlenceli kılan şey bu. Hadi başlayalım, olur mu?
İlk önce, Excel’i açın, veri menüsü öğesine gidin ve “Web’den” menü şeridinde simgesi.
Farklı veri tablolarını yayınlayan birçok web sitesinden içeri aktarmak için kullanacağınız şey budur..
Web Verilerini Excel'e Aktarma
Bu nedenle, eski günlerde bu tablodaki verileri bir web sayfasına kopyalamaya, Excel'e yapıştırmaya çalışmanız ve ardından bunu yapan çılgın biçimlendirme sorunlarıyla uğraşmanız gerekir. Toplam sıkıntı ve çoğu zaman sadece baş ağrısına değmez. Excel Web Sorguları ile o günler gitti. Tabii ki, verileri içe aktarabilmeniz için, ihtiyacınız olan verileri tablo biçiminde bulmak için Google’ı Web’de dolaşmanız gerekir. Benim durumumda, otizmli olduğu tespit edilen ABD devlet okulu öğrencileri için Eğitim Bakanlığı istatistiklerini yayınlayan bir web sitesi buldum. Güzel bir masa, 1994’ten 2006’ya kadar sayıları gösteriyordu..
Yani sadece tıklayın “Web’den”, web sayfası URL’sini sorgu adres alanına yapıştırın ve ardından içe aktarmak istediğiniz verilerle tablonun yanındaki sarı oku görene kadar sayfayı aşağı kaydırın.
Yeşil bir onay işareti olacak şekilde oku tıklayın.
Son olarak, Excel'e tablo verilerini yeni e-tablonuzun içine yapıştırmak istediğinizi belirtin.
Sonra - Voila! Veri otomatik olarak elektronik tablonuza doğrudan akar.
Bu nedenle, 1996 - 2006 yılları arasında devlet okulu otizm oranlarının bir eğiliminde olması, aşı ve cep telefonu kullanım eğilimlerini aramaya gitme zamanı.
Neyse ki, 1985'ten 2012'ye kadar ABD'de cep telefonu aboneleri için hızlı bir şekilde trendler buldum. Bu özel çalışma için mükemmel veriler. Yine, bu tabloyu almak için Excel Web Sorgu aracını kullandım..
Bu masayı temiz, yeni bir sayfaya aldım. Daha sonra, farklı hastalıklar için aşılanmış okul çocuklarının yüzdesi için aşılanma eğilimlerini keşfettim. Bu tabloyu Web Sorgu aracını kullanarak üçüncü bir sayfaya aktardım. Sonunda, internette keşfettiğim bağlantısız verilerle dolu üç tablonun bulunduğu üç sayfa vardı..
Bir sonraki adım, verileri analiz etmek ve herhangi bir korelasyon tanımlamaya çalışmak için Excel kullanmaktır. En sevdiğim veri analiz araçlarımdan birinin devreye girdiği yer - PivotTable.
Özet Tablo ile Excel'deki Verilerin Analizi
Özet Tablo'nuzu yepyeni, boş bir sayfada oluşturmak en iyisidir. Sihirbazı yapmak üzere olduğunuz şey için kullanmak istiyorsunuz. Özet Tablo sihirbazını Excel'de etkinleştirmek için, bir bildirim penceresi açılana kadar Alt-D tuşlarına aynı anda basmanız gerekir. Ardından bu düğmelerden çıkın ve tuşuna basın. “P” tuşuna basın. Ardından sihirbazın açıldığını göreceksiniz..
Sihirbazın ilk penceresinde, seçmek istediğiniz “Çoklu konsolidasyon aralıkları”, Bu, içe aktardığınız tüm sayfalardan veri seçmenize olanak sağlar. Bunu yaparak, ilgisiz görünen tüm verileri tek, güçlü bir pivottable ile birleştirebilirsiniz. Bazı durumlarda, verilerin bir kısmına masaj yapmanız gerekebilir. Örneğin, düzeltmek zorunda kaldım “Yıl” otizm tablosundaki alanı gösterdi ki “1994” yerine “1994-1995” - Birincil yıl alanı da bulunan diğer sayfalardaki tablolarla daha iyi sıralanmasını sağlamak.
Veriler arasındaki bu ortak alan bilgiyi denemek ve ilişkilendirmek için ihtiyacınız olan şeydir, bu nedenle verileriniz için Web’de arama yaparken bunu aklınızda bulundurun..
Özet Tablo bittiğinde ve bir tabloda görüntülenen tüm farklı veri değerlerini elde ettikten sonra, size atlayan açık bir bağlantı olup olmadığını görmek için görsel bir analiz yapma zamanı.
Verileri Görselleştirme Anahtardır
Eğer bir ekonomist iseniz masada bir sürü numaraya sahip olmak harika, ama buna sahip olmanın en hızlı ve en kolay yolu “Aha!” Samanlıkta iğne gibi bağlantılar bulmaya çalıştığınız an, grafikler ve şemalardır. PivotChart'ınızı topladığınız tüm veri kümelerine yerleştirdikten sonra grafiğinizi oluşturma zamanı gelmiştir. Genellikle bir çizgi grafiği en iyisini yapar, ancak verilere göre değişir. Bir çubuk grafiğin daha iyi çalıştığı zamanlar vardır. Hangi tür verilere baktığınızı ve hangi form karşılaştırmalarının en iyi sonucu elde ettiğini anlamaya çalışın.
Bu durumda, zaman içindeki verilere bakıyorum, bu yüzden bir çizgi grafiği yıllar içindeki eğilimleri görmenin en iyi yoludur. Ölçeklenmiş aşılama oranlarına (koyu mavi), suçiçeği aşılarına (açık mavi) ve cep telefonu kullanımına (mor) karşı otizm oranlarını (yeşil) işaretlerken, çaldığım bu veri setinde aniden garip bir korelasyon ortaya çıktı..
İşin tuhafı, 1994'ten 2006'ya kadar cep telefonu kullanımındaki eğilim aynı zaman zarfında otizm oranlarındaki yükselişe neredeyse mükemmel bir şekilde uyuyordu. Desen tamamen beklenmedikken, ilginç verileri bir araya getirmenin büyüleyici ipuçlarını nasıl ortaya çıkardığını gösteren mükemmel bir örnek - ileriye devam etmeyi sürdürmek ve hipotezinizi daha da artırabilecek daha fazla veri aramaya devam etmek için size daha fazla içgörü ve motivasyon sağlar..
Yukarıdaki gibi bir korelasyon hiçbir şey kanıtlamaz. Zamanla yükselen pek çok trend var - desen tesadüf olabilir, ancak İnternet'te daha fazla veri için devam eden arayışınız için önemli bir ipucu olabilir. Neyse ki, bu görevi biraz daha kolaylaştıracak Excel Web Sorguları adlı güçlü bir aracınız var.
Fotoğraf Kredisi: photopin cc ile Kevin Dooley