Bukan berita bahawa Google adalah enjin carian terbesar di dunia. Banyak orang akan berusaha keras untuk mendapatkan kedudukan kandungan mereka yang tinggi di Google sebelum mesin carian lain. Hasilnya, Google mempunyai banyak hasil berkualiti untuk setiap carian dan dengan algoritma peringkat yang hebat, anda dapat memperoleh hasil carian terbaik di Google.

Ini mempunyai implikasi. Implikasinya ialah terdapat banyak data berguna di Google dan memerlukan keperluan untuk mengikis data emas ini. Data yang dikumpulkan dapat digunakan untuk analisis data yang berkualiti dan penemuan wawasan yang luar biasa. Ini juga penting untuk mendapatkan maklumat penyelidikan yang hebat dalam satu percubaan.

Bercakap mengenai mengikis, ini boleh dilakukan dengan alat pihak ketiga. Ia juga dapat dilakukan dengan perpustakaan Python yang dikenali sebagai Scrapy. Scrapy dinilai sebagai salah satu alat mengikis terbaik, dan boleh digunakan untuk mengikis hampir semua laman web. Anda boleh mengetahui lebih lanjut di perpustakaan Scrapy.

Walau bagaimanapun, tanpa mengira kekuatan perpustakaan yang indah ini. Mengikis data di Google boleh menjadi satu tugas yang sukar. Google berusaha keras untuk melakukan percubaan mengikis web, memastikan skrip mengikis bahkan tidak membuat sebanyak 10 permintaan mengikis dalam satu jam sebelum melarang alamat IP.  Ini menjadikan skrip pengikisan web pihak ketiga dan peribadi tidak berguna.

Google memang memberi peluang untuk mengikis maklumat. Namun, apa pun yang perlu dilakukan adalah melalui Antaramuka Pengaturcaraan Aplikasi (API).

Sekiranya anda belum tahu apa itu Antaramuka Pengaturcaraan Aplikasi, tidak ada yang perlu dibimbangkan kerana saya akan memberikan penjelasan ringkas. Secara definisi, API adalah sekumpulan fungsi dan prosedur yang memungkinkan pembuatan aplikasi yang mengakses fitur atau data sistem operasi, aplikasi, atau layanan lain. Pada dasarnya, API membolehkan anda mendapatkan akses ke hasil akhir proses tanpa perlu terlibat dalam proses tersebut. Sebagai contoh, API suhu akan memberi anda nilai Celsius / Fahrenheit di suatu tempat tanpa anda perlu pergi ke sana dengan termometer untuk membuat pengukuran sendiri.

Dengan memasukkan ini ke dalam ruang lingkup mengikis maklumat dari Google, API yang akan kami gunakan memungkinkan kami mengakses maklumat yang diperlukan tanpa harus menulis skrip apa pun untuk mengikis halaman hasil pencarian Google. Melalui API, kita hanya dapat mengakses hasil akhir (setelah Google melakukan "mengikis" pada akhirnya) tanpa menulis kod untuk mengikis halaman web.

Walaupun Google memiliki banyak API untuk tujuan yang berbeda, kami akan menggunakan API JSON Carian Khusus untuk tujuan artikel ini. Maklumat lebih lanjut mengenai API ini boleh didapati di sini.

API ini membolehkan kami membuat 100 pertanyaan carian setiap hari secara percuma, dengan rancangan harga yang tersedia untuk membuat lebih banyak pertanyaan jika perlu.

Membuat Mesin Carian Tersuai

Untuk dapat menggunakan API JSON Pencarian Khusus, kami memerlukan ID Mesin Carian Khusus. Namun, kita harus membuat Custom Search Engine terlebih dahulu yang dapat dilakukan di sini.

Ketika anda mengunjungi halaman Custom Search Engine, klik pada tombol "Tambah" untuk membuat mesin pencari baru.

Di kotak "laman web untuk dicari", masukkan "www.linuxhint.com "dan di kotak" Nama mesin pencari ", masukkan nama deskriptif pilihan anda (Google lebih disukai).

Sekarang klik "Buat" untuk membuat mesin carian khusus dan klik butang "panel kawalan" dari halaman untuk mengesahkan kejayaan penciptaan.

Anda akan melihat bahagian "Search Engine ID" dan ID di bawahnya, itulah ID yang kami perlukan untuk API dan kami akan merujuknya nanti dalam tutorial ini. ID Mesin Carian harus dirahsiakan.

Sebelum kita pergi, ingat kita memasukkan “www.linuhint.com ”lebih awal. Dengan tetapan itu, kami hanya akan mendapat hasil dari laman web ini sahaja. Sekiranya anda ingin mendapatkan hasil normal dari total carian web, klik "Persediaan" dari menu di sebelah kiri dan kemudian klik tab "Asas". Pergi ke bahagian "Cari di Seluruh Web" dan aktifkan ciri ini.

Membuat Kekunci API

Setelah membuat Custom Search Engine dan mendapatkan IDnya, selanjutnya adalah membuat kunci API. Kunci API membolehkan akses ke perkhidmatan API, dan ia harus dijaga dengan selamat setelah dibuat seperti ID Mesin Carian.

Untuk membuat kunci API, kunjungi laman web dan klik pada butang "Dapatkan Kunci".

Buat projek baru, dan beri nama deskriptif. Pada mengklik "seterusnya", anda akan membuat kunci API dihasilkan.

Di halaman berikutnya, kami akan mempunyai pilihan penyediaan yang berbeza yang tidak diperlukan untuk tutorial ini, jadi anda cukup klik butang "simpan" dan kami siap untuk pergi.

Mengakses API

Kami berjaya mendapatkan ID Carian Khusus dan Kunci API. Selanjutnya kita akan menggunakan API.

Walaupun anda dapat mengakses API dengan bahasa pengaturcaraan lain, kami akan melakukannya dengan Python.

Untuk dapat mengakses API dengan Python, anda perlu memasang Google API Client untuk Python. Ini boleh dipasang menggunakan paket pemasangan pip dengan arahan di bawah:

pip pasang google-api-python-client

Setelah berjaya memasang, kini anda boleh mengimport perpustakaan dalam kod kami.

Sebilangan besar perkara yang akan dilakukan adalah melalui fungsi di bawah:

dari googleapiclient.binaan import penemuan
my_api_key = "Kunci API Anda"
my_cse_id = "ID CSE Anda"
def google_search (search_term, api_key, cse_id, ** kwargs):
service = build ("customearch", "v1", developerKey = api_key)
res = perkhidmatan.cse ().senarai (q = search_term, cx = cse_id, ** kwargs).laksanakan ()
pulangan res

Dalam fungsi di atas, my_api_key dan my_cse_id pemboleh ubah harus diganti dengan Kunci API dan ID Mesin Pencari masing-masing sebagai nilai rentetan.

Yang perlu dilakukan sekarang ialah memanggil fungsi yang berlalu dalam istilah carian, kunci api dan id cse.

hasil = google_search ("Coffee", my_api_key, my_cse_id)
cetak (hasil)

Panggilan fungsi di atas akan mencari kata kunci "Kopi" dan memberikan nilai yang dikembalikan ke hasil pemboleh ubah, yang kemudian dicetak. Objek JSON dikembalikan oleh Custom Search API, oleh itu setiap penghuraian lebih lanjut dari objek yang dihasilkan memerlukan sedikit pengetahuan tentang JSON.

Ini dapat dilihat dari contoh hasil seperti yang dilihat di bawah:

Objek JSON yang dikembalikan di atas sangat mirip dengan hasil carian Google:

Ringkasan

Mengikis Google untuk mendapatkan maklumat tidak semestinya merisaukan. API Carian Khusus menjadikan hidup mudah bagi semua orang, kerana satu-satunya kesukaran adalah menguraikan objek JSON untuk maklumat yang diperlukan. Sebagai peringatan, selalu ingat untuk menjaga nilai peribadi ID Carian Khusus dan API Kunci anda.