用理工科思维看待这个世界

系列爬虫专栏
崇尚的学习思维是：输入，输出平衡，且平衡点不断攀升。
曾经有大神告诫说：没事别瞎写文章；所以，很认真的写的是能力范围内的，看客要是看不懂，不是你的问题，问题在我，得持续输入，再输出。
今天的主题是：pymongo的简单实用及其实战

0：框架

1：概念

• 数据库
  数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，
  每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。

• mongodb
  MongoDB是一种文档导向数据库管理系统，是一种分布式文件存储的数据库，由C++编写.

• 特点：
  MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。

• MySQL
  MySQL（官方发音为英语发音：/maɪ ˌɛskjuːˈɛl/“My S-Q-L”[1]，但也经常读作英语发音：/maɪ ˈsiːkwəl/“My Sequel”）是一个开放源代码的关系数据库管理系统.

• 特点：
  数据以表格的形式出现
  每行为各种记录名称
  每列为记录名称所对应的数据域
  许多的行和列组成一张表单
  若干的表单组成database

• SQL 和 Mongodb术语对比：

可视化工具显示：
关系型数据库：数据记录的显示

001.png

Mongodb数据库：数据记录的显示

002.png

2：对比

• 搭建
  下载：
  Mongodb官网
  MySQL官网

• 运行本地服务器
  1： MongoDB ：路径
  mongod --dbpath C:\Mongodb\Data
  2：MySQL
  mysql -u root -p

• python 下模块
  1：MongoDB
  pymongo
  2：MySQLdb
  MySQLdb

• python 下创建连接对象
  1：mongodb

from pymongo import MongoClient
client = MongoClient('localhost',27017)  # 创建连接对象
db = client.exercise   # 创建数据库
collection = db.tablename   # 创建collection

# collection 使用各种方法实现：增删改查

2：MySQLdb

import MySQLdb
mysql = MySQLdb.connect(
    user="root",
    host="localhost",
    passwd="123456",
    port=3306,
    db='exercise',
    charset='utf8')  # 创建连接对象
cursor = mysql.cursor() # 创建游标对象
# 游标对象下执行sql语句实现对数据的增删改查

• pymongo 简易教程
  假设collection名为tablename

# 插入数据
data = {"A":1,"B":2}
tablename.insert_one(data)  # 向数据库插入一条数据
# 查询数据
tablename.find_one()  # 获取数据库一条数据
# 按条件查找
tablename.find_one({"A":1})  # 按条件返回一条数据
# 插入多条数据
new_data = [{"C":3,"D":4},{"E":5}]
tablename.insert_many(new_data)
# 查询多条

for one in tablename.find():
    print(one)            # 逐条打印

# 计数
tablename.count()   # 返回该集合下有多少条数据

参考文档

3：实战

专栏：009：
完整版代码示例
实现了将数据储存至MySQL数据库
核心代码不变: 添加存储至mongodb 数据库中：

def save_to_mongodb(self, each_page_film_data, tablename):
    client = pymongo.MongoClient()
    db = client.exercise
    result = db.tablename.insert(each_page_film_data)
    client.close()
# each_page_film_data 是JSON格式的数据
    

效果图：可视化工具Robomongo

003.png

将全部数据取出查看：

def select_from_mongodb(self):
    client = pymongo.MongoClient()
    db = client.exercise
    result = db.tablename.find()
    return result
    

效果图：每条数据自动添加_id字段

004.png

完整版代码

4：总结

浅显的对比MySQL 和 mongodb数据库。
数据库存在很多shell 指令.
具体查看官方文档。

Github

关于本人：

国内小硕，半路出家的IT初学者。
兴趣领域：爬虫 ， 数据科学
本人正在构建一个共同成长爬虫小型社群。持续精进。如果理念相似，欢迎加入。
文档及代码托管在Github上。