Michael Fisher
0 
1870
504
Zihinsel pireleriniz, programlama ve hikaye anlatma becerisine ve tasarıma özen gösterirseniz, veri bilimine girmekten daha kötüsünü yapabilirsiniz. Teknolojideki yeni büyük şey; Veri bilimcileri, dünyanın en büyük şirketlerinden bazıları tarafından arandığı için oldukça popüler ve yüksek ücret aldı.
ScraperWiki, uzun zamandır veri bilimi alanıyla ilişkilendirilmiş bir şirkettir. Geçtiğimiz birkaç yıl boyunca, Liverpool merkezli bu başlangıç, kodlayıcıların veri elde eden, yazılanları temizleyen ve bulutta analiz eden araçlar yazmaları için bir platform sundu..
Yeni bir yenilemeyle ve kurumdaki veri bilimcileri için sürekli artan taleple, ScraperWiki'ye iyi bir göz atmaya değer..
Açıklama: Geçen yaz ScraperWiki'de stajyerlik yaptım.
ScraperWiki ne yapar??
ScraperWiki, verileri almak, temizlemek ve analiz etmek için bir yer olarak pazarlar ve bu sayımların her birini sunar. En basit şekliyle, size - kullanıcı - bir kaynaktan veri alan kodları, analiz edilmesi kolay bir formata dönüştürme araçlarını ve daha sonra görselleştirmeye devam etmeleri için depolama alanlarını - yazabileceğiniz bir yere izin verir. ScraperWiki ile de başa çıkabilir.
Ayrıca, PDF'lerden veri alma ve kod çözme zorluğu da dahil, tekrarlayan görevleri otomatikleştiren bir dizi önceden oluşturulmuş araçla birlikte gelir. Bu, Twitter'da arama yapmanın yanı sıra, 5 Kişinin Sizin İçin Söylediklerini İzlemek İçin 5 Cool Twitter Arama Püf Noktaları 5 Kişilerin Sizin İçin Söylediklerini İzlemek İçin 5 Harika Twitter Araması Püf Noktaları İnternet üzerinden insanların sizin hakkınızda neler söylediğini bilmek her zaman iyidir. İnsanlar alıntı yapıyor olabilir ... ve kamu kuruluşlarını kazımak olabilir. Bunları kullanmak için herhangi bir yazılım geliştirme deneyimine ihtiyacınız yoktur..
Maliyet
Daha önce de belirtildiği gibi, ScraperWiki, freemium fiyatlama modelini benimser ve birden fazla kademeye sahip bir hizmet sunar. Veri bilimine veya sınırlı ihtiyaçlara yeni başlayanlar ücretsiz hizmetten yararlanabilirler. Bu size üç veri seti verir - verilerinizi ve kodunuzu sakladığınız yer.
Birden fazla kazıyıcı yazmayı ya da veri analizi dağları yapmak isteyenler, premium hesap için biraz para harcayabilirler. Bunlar ayda 9 dolardan başlıyor ve 10 veri seti sunuyor. Bu hala yeterli değilse, 100 veri kümesiyle birlikte gelen ve aylık 29 ABD Doları olan en yüksek seviyeye yükseltebilirsiniz..
Kodlama
Programcılar, nasıl kodladıkları konusunda genellikle oldukça özeldir. Bazıları derlenmiş diller üzerinde komut dosyası dillerini tercih eder. Bazıları, bir metin editörünün entegre bir geliştirme ortamının (IDE) deneyiminin geri bildirim deneyimini tercih eder. ScraperWiki bunu tanır ve kodunuzu nasıl yazdığınıza bakıldığında kullanıcıya çok fazla seçenek sunar.
Bu kadar eğimli iseniz, kodunuzu tarayıcıya yazabilirsiniz. Herhangi bir profesyonel düzeyde, web tabanlı, İlk 3 Tarayıcı Tabanlı IDE'nin Bulutta Kodlanacağını Beklemeniz Gereken İlk 3 Tarayıcı Tabanlı IDE'nin Bulut Geliştirme Aracında Kod Yazması, bu, herhangi bir programcının göz önünde bulundurduğu özellikler ile birlikte gelir. sözdizimi vurgulama gibi.
Sunulan birçok dil var. Bunlar arasında Python Python Programlamayı Öğrenen En İyi 5 İnternet Sitesi Python Programlamasını Öğrenen En İyi 5 İnternet Sitesi Python Programlamasını öğrenmek ister misiniz? Python'u çevrimiçi öğrenmenin, çoğu tamamen ücretsiz olan en iyi yolları. Google ve NASA'nın beğenileri tarafından kullanılan popüler bir betik dili; Ruby 3 Etkileşimli, Eğlenceli, Öğrenmeye Başlamak İçin Ücretsiz Yollar Ruby Programlama Dili 3 Etkileşimli, Eğlenceli, Öğrenmeye Başlamak İçin Ücretsiz Yollar Ruby Programlama Dili Ruby, etkileyici, çok üst düzey, betik dilidir. Web üzerinde ağırlıklı olarak Ruby on Rails web geliştirme çerçevesinin bir parçası olarak kullanılır, ancak aynı zamanda bağımsızdır. Ruby'nin ne olduğunu (değil…, hangi Living Social gibi popüler web sitelerini ve popüler istatistiksel analiz dilini destekleyen) merak ediyorsanız, R.
Ek olarak, SSH, Git'i ve kullanmaktan hoşlandığınız metin düzenleyiciyi kullanarak komut satırından da kod yazabilirsiniz. Evet, doğru okudunuz. SSH Nedir ve FTP'den Ne Farklıdır [Teknoloji Açıklaması] SSH Nedir ve FTP'den Ne Farklıdır [Teknoloji Açıklaması]. Kullandığınız her kutu kendi Linux hesabıdır ve bir VPS ya da başka bir kabuk hesabınız gibi bağlayabilirsiniz. Vim Metin Düzenleyicisine Bir Şans Vermek İçin En İyi 7 Neden Vim Metin Düzenleyicisine Bir Şans Vermek İçin En İyi 7 Sebep Yıllardır bir metin editörü denedim. Sen adını söyle, denedim. Bu editörlerin her birini, birincil günlük editörüm olarak iki aydan fazla kullandım. Her nasılsa, ben… hangi eklentilerle ve konfigürasyon düzenleyerek genişletilebilir. Vim'den korkanlar, hafif bir komut satırı metin editörü olan Nano'yu kullanabilirler..
Kurulan kütüphaneler veri almak ve işlemek için yazma araçları için yeterli olmalıdır. Biraz daha karanlık bir şeye ihtiyacınız olursa, komut satırından her zaman bir sanalenv oluşturabilirsiniz. Görebildiğiniz gibi, geliştiricilere sağlanan çok büyük bir esneklik var..
Veri goruntuleme
Demek verilerinizi aldınız. Normalleştirdin. Sen temizledin. Onu analiz ettin. Şimdi biraz görselleştirme ve dünyaya öğrendiklerinizi gösterme zamanı.
ScraperWiki, geliştiricilerin, tanıdık HTML, CSS ve JavaScript trifectalarından oluşturulan web sayfalarını kullanarak verilerini görüntülemelerine olanak tanır. Ayrıca, Bootstrap bileşenleri kutudan desteklenir.
Verilerinizi bir harita üzerinde çizen ve bulgularınızdaki eğilimleri bulanlar da dahil olmak üzere önceden hazırlanmış görselleştirmeler vardır. Bunları kullanmak için, verilerinizin 'scraperwiki.sqlite' dosya adıyla SQLite dosyası olarak saklandığından emin olmanız gerekir. Sonra sadece ilgilendiğiniz görselleştirmeyi eklersiniz. Basit, sağ?
Sonuç
ScraperWiki, veri ortamlarını geliştirme ortamına girmeden bazı analizler yapmak isteyen geliştiricilere, en talepkar kullanıcıları bile memnun etme esnekliğine sahip olmak için çok şey sunar. Ama sen ne düşünüyorsun? Aşağıdaki yorumlarda bana bildirin.
Fotoğraf Kredisi: Roket Bilimi (Dan Brown)